MiMuon: 대규모 모델의 일반화 성능을 개선한 혼합 Muon 옵티마이저 (Mixed Muon Optimizer)

요약

본 논문은 대규모 모델의 행렬 구조 파라미터를 위한 Muon 옵티마이저의 일반화 성능을 분석하고, 이를 개선한 MiMuon 옵티마이저를 제안합니다. MiMuon은 Muon과 모멘텀 기반 SGD를 결합하여 기존 Muon의 일반화 오차 한계를 극복하고 $O(1/N)$의 더 낮은 일반화 오차를 달성하면서도 빠른 수렴 속도를 유지합니다.

핵심 포인트

• Muon 옵티마이저의 일반화 오차가 $O(1/Nκ^T)$임을 수학적으로 증명
• Muon과 모멘텀 기반 SGD를 결합한 새로운 MiMuon 옵티마이저 제안
• MiMuon은 기존 Muon보다 개선된 $O(1/N)$의 일반화 오차 성능을 가짐
• MiMuon은 Muon과 동일한 $O(1/T^{1/4})$의 수렴 속도를 유지함
• Qwen3-0.6B 및 YOLO26m 모델 실험을 통해 MiMuon의 효율성 입증