Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
리만 다양체 상의 강한 측지 볼록 손실 함수를 위한 분산형 온라인 최적화 연구를 다룹니다. 기존 연구가 다루지 못한 강한 g-볼록 영역에서 $O( ext{log } T)$의 정적 후회 상한을 최초로 수립했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기우리는 양의 곡률을 가진 다양체를 포함하여, 유계된 단면 곡률 (sectional curvature)을 가진 리만 다양체 (Riemannian manifolds) 상의 강한 측지 볼록 (strongly geodesically convex, strongly g-convex) 손실 함수에 대한 분산형 온라인 최적화 (decentralized online optimization)를 연구합니다. 중앙 집중형 리만 최적화 (centralized Riemannian optimization)에서 강한 g-볼록성 (strong g-convexity)은 최적의 후회 (regret)를 $O(\sqrt{T})$에서 $O(\log T)$로 줄여주며, 여기서 $T$는 시간 지평 (time horizon)입니다. 그러나 분산형 리만 설정 (decentralized Riemannian setting)에서 기존 방법들은 g-볼록 손실 (g-convex losses)만을 다루고 있으며, 강한 g-볼록 영역 (strongly g-convex regime)은 아직 탐구되지 않은 상태로 남아 있습니다. 한 가지 과제는 중앙 집중형 영역에서 요구되는 감소하는 단계 크기 (decaying step size)가 일반적으로 고정된 단계 크기 (fixed step size)를 가정하는 기존의 네트워크 오차 분석 (network-error analyses)과 호환되지 않는다는 점입니다. 먼저, 우리는 시변 스케줄 (time-varying schedules)에 대한 일반적인 네트워크 오차 분석을 제공합니다. 다음으로, 이 분석을 바탕으로 분산형 온라인 리만 경사 하강법 (decentralized online Riemannian gradient descent)에 대해 강한 볼록 유클리드 온라인 최적화 (strongly-convex Euclidean online optimization)의 미니맥스 최적 속도 (minimax-optimal rate)와 일치하는 최초의 $O(\log T)$ 정적 후회 (static regret) 상한을 수립합니다. 마지막으로, 손실 함수의 평활화 버전 (smoothed versions)에 대한 새로운 강한 하볼록성 (strong subconvexity) 논증을 사용하여, 2점 밴딧 피드백 (two-point bandit feedback) 설정에 대해서도 동일한 $O(\log T)$ 후회 상한을 증명합니다.