강한 측지 볼록 함수를 위한 분산형 온라인 리만 최적화 (Decentralized Online Riemannian Optimization
요약
리만 다양체 상의 강한 측지 볼록 손실 함수를 위한 분산형 온라인 최적화 연구를 다룹니다. 기존 연구가 다루지 못한 강한 g-볼록 영역에서 $O( ext{log } T)$의 정적 후회 상한을 최초로 수립했습니다.
핵심 포인트
- 강한 측지 볼록 함수에 대한 분산형 온라인 리만 최적화 연구
- 시변 스케줄을 적용한 일반적인 네트워크 오차 분석 제공
- 분산형 리만 경사 하강법의 $O( ext{log } T)$ 정적 후회 상한 수립
- 2점 밴딧 피드백 설정에서도 동일한 후회 상한 증명
우리는 양의 곡률을 가진 다양체를 포함하여, 유계된 단면 곡률 (sectional curvature)을 가진 리만 다양체 (Riemannian manifolds) 상의 강한 측지 볼록 (strongly geodesically convex, strongly g-convex) 손실 함수에 대한 분산형 온라인 최적화 (decentralized online optimization)를 연구합니다. 중앙 집중형 리만 최적화 (centralized Riemannian optimization)에서 강한 g-볼록성 (strong g-convexity)은 최적의 후회 (regret)를 $O(\sqrt{T})$에서 $O(\log T)$로 줄여주며, 여기서 $T$는 시간 지평 (time horizon)입니다. 그러나 분산형 리만 설정 (decentralized Riemannian setting)에서 기존 방법들은 g-볼록 손실 (g-convex losses)만을 다루고 있으며, 강한 g-볼록 영역 (strongly g-convex regime)은 아직 탐구되지 않은 상태로 남아 있습니다. 한 가지 과제는 중앙 집중형 영역에서 요구되는 감소하는 단계 크기 (decaying step size)가 일반적으로 고정된 단계 크기 (fixed step size)를 가정하는 기존의 네트워크 오차 분석 (network-error analyses)과 호환되지 않는다는 점입니다. 먼저, 우리는 시변 스케줄 (time-varying schedules)에 대한 일반적인 네트워크 오차 분석을 제공합니다. 다음으로, 이 분석을 바탕으로 분산형 온라인 리만 경사 하강법 (decentralized online Riemannian gradient descent)에 대해 강한 볼록 유클리드 온라인 최적화 (strongly-convex Euclidean online optimization)의 미니맥스 최적 속도 (minimax-optimal rate)와 일치하는 최초의 $O(\log T)$ 정적 후회 (static regret) 상한을 수립합니다. 마지막으로, 손실 함수의 평활화 버전 (smoothed versions)에 대한 새로운 강한 하볼록성 (strong subconvexity) 논증을 사용하여, 2점 밴딧 피드백 (two-point bandit feedback) 설정에 대해서도 동일한 $O(\log T)$ 후회 상한을 증명합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기