Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
Muon 옵티마이저를 위한 1비트 부호 압축 방식인 SignMuon의 수렴성과 한계를 분석합니다. 특정 방식이 선형 함수에서 발산할 수 있음을 증명하고, 오차 피드백(EF)의 적용 위치에 따른 성능 차이를 실험적으로 보여줍니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기SignMuon은 Muon 업데이트의 요소별 부호 (elementwise sign)를 취함으로써 파라미터당 1비트로 압축하며, 이는 매우 낮은 통신 예산 하에서 행렬 인식 옵티마이저 (matrix-aware optimizer)를 실행할 수 있는 가장 직접적인 방법을 제공합니다. 이는 실제 환경에서 SignSGD보다 뛰어난 성능을 보이지만, 선형 함수 (linear function)에서도 발산할 수 있습니다. 선형 최소화 오라클 (Linear Minimization Oracle, LMO) 이후가 아닌 이전에 그래디언트 (gradient)의 부호를 취하는 방식으로는 이를 해결할 수 없습니다. 우리는 부호 적용 전 (MuonUSign) 방식과 양측 모두에 부호를 적용하는 (MuonSign) 방식이 모두 발산하는 작은 명시적 사례를 구축하였으며, 따라서 오라클 주변의 부호 배치 방식이 일반적으로 수렴을 보장하지는 않습니다. 편향된 압축기 (biased compressor)에 대한 표준적인 해결책인 오차 피드백 (Error Feedback, EF)도 SignMuon을 구제하지 못합니다. Muon의 출력에 적용될 경우, 오차 피드백은 모든 매끄러움 상수 (smoothness constant), 스텝 사이즈 (step size), 그리고 모멘텀 (momentum)에 대해 실패할 수 있습니다. 반면 그래디언트에 적용된 오차 피드백은 효과가 있으며, EF21-MuonUSign 및 EF21-MuonSign은 매끄러운 비볼록 문제 (smooth nonconvex problems)에서 제곱 그래디언트 노름 (squared gradient norm)에 대해 표준적인 $\mathcal{O}(T^{-1/2})$ 수렴 속도를 달성합니다. 후자의 경우 각 방향당 1비트를 사용합니다. 실험 결과는 순위를 뒤집습니다. 중앙 집중식 CIFAR-10, 연합 학습 (federated) CIFAR-10, 그리고 nanoGPT 스피드런 (speedrun) 전반에 걸쳐, 가장 강력한 압축 방법은 우리가 발산한다고 증명한 방식인 LMO 이후에 부호를 취하는 방식이었으며, 증명 가능한 수렴 변형 모델들은 그 뒤를 따랐습니다. 휴리스틱(heuristic) 방식인 LMO 이후의 압축은 이러한 규모에서는 보장된 수렴성보다 더 중요하게 작용합니다.