Muon 사전 학습 중 일시적 가중치 감쇠의 지연 효과
요약
Muon으로 훈련된 트랜스포머 모델에서 일시적 가중치 감쇠가 최종 훈련 예산의 검증 손실을 감소시킬 수 있음을 입증했습니다. 특히 고정 기간 감쇠 창을 초기에서 후기 훈련으로 이동시키는 것이 효과를 역전시키며, 이는 최적화 스케줄이 제거된 후에도 오랫동안 지연 효과를 가질 수 있음을 시사합니다.
핵심 포인트
- 일시적 개입은 검증 손실을 증가시키나 최종 훈련 예산에서는 감소 가능함.
- 감쇠 창을 초기에서 후기 훈련으로 이동시키는 것이 최종 효과를 역전시킴 (최대 1.4B).
- 스케줄의 영향이 제거된 후에도 지속되는 지연 효과가 관찰됨.
- 노름 초기화 실험은 감쇠 종료 시 작은 가중치 노름이 손실 개선에 기여함을 보여줌.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기