MuonGS: 완화된 가중치 노름 제어 기반의 LLM 사전 학습

요약

본 논문은 LLM 사전 학습 시 가중치 노름 제어의 복잡성을 다루며, Gram--Schmidt (GS) 투영을 활용한 MuonGS를 제안합니다. MuonGS는 가중치 노름 고정 없이도 $\sqrt{t}$에 비례하는 증가를 보장하여 훈련 후반부에도 누적 효과를 유지합니다. 실험 결과, 밀집 모델에서 기존 방법 대비 최대 약 15%의 토큰 등가 속도 향상을 달성했습니다.

핵심 포인트

• MuonGS는 GS 투영을 통해 가중치 노름 제어를 완화하는 새로운 방법을 제시함.
• 훈련 단계 $t$ 후 가중치 노름이 최대 $\sqrt{t}$에 비례하여 증가함을 증명함.
• 누적 효과가 훈련 후반부에도 유지되어 성능 향상에 기여함.
• 밀집 모델에서 MuonH 대비 최대 약 15%의 속도 향상을 달성함.