중량 꼬리 노이즈(Heavy-Tailed Noise) 환경에서의 온라인 볼록 최적화(Online Convex Optimization)를 위한

원문 발행 2026. 07. 30. 00:58원문 언어 영어AI 한국어 번역arXiv cs.LG 원문 보기

요약

중량 꼬리 노이즈(heavy-tailed noise) 환경의 비정상적 상황에서 작동하는 새로운 온라인 볼록 최적화(OCO) 알고리즘 HT-PAder를 제안합니다. 이 알고리즘은 파라미터에 대한 사전 지식 없이도 보편적 동적 후회를 달성하며, 유한 분산 환경에서도 최초의 파라미터 프리 미니맥스 보증을 제공합니다.

핵심 포인트

중량 꼬리 노이즈 환경을 위한 파라미터 프리 알고리즘 HT-PAder 제안
재시작된 AdaGrad 전문가와 AdaGrad-Hedge를 결합한 구조
도메인 파라미터(직경, 립시츠 상수 등)에 대한 사전 지식 불필요
유한 분산(p=2) 환경에서 최초의 파라미터 프리 미니맥스 보증 달성
경로 길이 지수의 최적성 및 하한(lower bound) 증명

우리는 확률적 경사 오라클(stochastic gradient oracle)이 어떤 $p ext{ (} 1 < p ext{ } ext{)} $에 대해 유한한 $p$차 중심 모멘트(central moment)만을 허용하는 중량 꼬리 노이즈(heavy-tailed noise) 하의 비정상 환경(non-stationary environments)에서의 온라인 볼록 최적화(Online Convex Optimization, OCO)를 연구합니다. 정적 후회(static regret)는 잘 이해되어 있는 반면, 파라미터 프리(parameter-free) 방식으로 보편적 동적 후회(universal dynamic regret)를 달성하는 것은 여전히 미해결 과제로 남아 있습니다. 우리는 이를 해결하기 위해 extbf{HT-PAder}를 제안합니다. 이는 기하학적 블록 길이 풀(geometric pool of block lengths)에 대해 재시작된 AdaGrad 전문가(restarted AdaGrad experts)와 메타 손실(meta-losses)에 대한 모멘트 조건이 필요 없는 경로 기반 메타 알고리즘(pathwise meta-algorithm)인 extbf{AdaGrad-Hedge}를 결합한 파라미터 프리 알고리즘입니다. 직경 $D$, 립시츠 상수(Lipschitz constant) $G$, 노이즈 수준 $\sigma$, 그리고 비교 대상 경로 길이(comparator path length) $P_T$인 도메인에 대해, HT-PAder는 다음과 같은 기대 보편적 동적 후회(expected universal dynamic regret)를 달성합니다: [ \widetilde O\left( GD\sqrt{T(1+P_T/D)} + \sigma D T^{1/p}(1+P_T/D)^{(p-1)/p} \right). ] 이 알고리즘은 이러한 문제 파라미터 중 그 어떤 것에 대한 사전 지식도 요구하지 않습니다. 유한 분산($p=2$)의 특수한 경우에도, HT-PAder는 최초의 파라미터 프리 미니맥스 보편적 동적 후회(parameter-free minimax universal dynamic regret) 보증을 제공합니다. 우리는 또한 경로 길이 지수(path-length exponent)의 최적성을 확립하며 이에 부합하는 하한(lower bound)을 증명합니다.

AI 자동 생성 콘텐츠

원문 바로가기

중량 꼬리 노이즈(Heavy-Tailed Noise) 환경에서의 온라인 볼록 최적화(Online Convex Optimization)를 위한

요약

핵심 포인트

댓글