사전 학습 데이터 규모가 Muon과 AdamW의 미세 조정 격차를 역전시킨다

요약

본 논문은 LLM 옵티마이저로 주목받는 Muon과 AdamW의 성능을 비교 분석했습니다. 연구 결과, Muon이 사전 학습(pretraining) 단계에서는 우수하지만, 데이터 예산 규모가 충분히 커지는 미세 조정(fine-tuning) 후에는 AdamW가 더 나은 성능을 보이는 역전 현상을 발견했습니다. 이 추세를 설명하기 위해 '마진 대 분산 비율'이라는 새로운 개념이 도입되었습니다.

핵심 포인트

• Muon은 사전 학습 손실 최소화에서 AdamW 대비 속도 향상을 제공합니다.
• 충분히 큰 데이터 예산 규모에서는 미세 조정 후 AdamW가 Muon보다 성능이 우수해집니다.
• 모델 크기가 커질수록, AdamW는 더 작은 토큰-파라미터 비율에서도 Muon을 추월합니다.
• 새로 도입된 '마진 대 분산 비율'은 미세 조정 시의 성능 역전 현상을 설명하는 핵심 지표입니다.