SGD에서 Muon까지: Schatten-p Norm을 통한 적응형 최적화 (Adaptive Optimization)

요약

본 논문은 DNN 레이어의 특성에 맞춰 최적화 도구의 기하학적 제약을 동적으로 선택할 수 있는 새로운 데이터 기반 적응형 최적화 프레임워크를 제안합니다. 무작위 특징 회귀 대리 모델을 통해 SGD부터 Muon에 이르는 다양한 업데이트 규칙을 보간하며, 기존의 Adam, Muon 등을 특정 극값으로 복원할 수 있는 유연성을 제공합니다. 실험 결과, 매우 낮은 계산 오버헤드만으로도 기존의 최상위 최적화 도구들과 대등하거나 더 뛰어난 성능을 입증했습니다.

핵심 포인트

• LMO(Linear Minimization Oracle) 이론을 기반으로 레이어별 최적의 기하학적 제약을 동적으로 결정
• 단일 단계 무작위 특징 회귀 대리 모델을 사용하여 그래디언트 및 활성화 통계로부터 폐쇄형 기준 도출
• SGD, Adam, Muon, MuAdam을 프레임워크 내의 특정 극값으로 통합 및 복원 가능
• 기존 베이스라인 대비 약 3%의 낮은 실행 시간 오버헤드로 높은 확장성 확보
• 다양한 학습 시나리오에서 Muon 및 AdamW와 대등하거나 우수한 성능 증명