본문으로 건너뛰기
arXiv논문2026. 11. 16. 14:06
Muon 사전 학습 중 일시적 가중치 감쇠의 지연 효과 대표 이미지

Muon 사전 학습 중 일시적 가중치 감쇠의 지연 효과

원문 발행 2026. 11. 13. 17:05원문 언어 영어AI 한국어 번역arXiv cs.CL 원문 보기

요약

Muon으로 훈련된 트랜스포머 모델에서 일시적 가중치 감쇠가 최종 훈련 예산의 검증 손실을 감소시킬 수 있음을 입증했습니다. 특히 고정 기간 감쇠 창을 초기에서 후기 훈련으로 이동시키는 것이 효과를 역전시키며, 이는 최적화 스케줄이 제거된 후에도 오랫동안 지연 효과를 가질 수 있음을 시사합니다.

핵심 포인트

  • 일시적 개입은 검증 손실을 증가시키나 최종 훈련 예산에서는 감소 가능함.
  • 감쇠 창을 초기에서 후기 훈련으로 이동시키는 것이 최종 효과를 역전시킴 (최대 1.4B).
  • 스케줄의 영향이 제거된 후에도 지속되는 지연 효과가 관찰됨.
  • 노름 초기화 실험은 감쇠 종료 시 작은 가중치 노름이 손실 개선에 기여함을 보여줌.

AI 자동 생성 콘텐츠

본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.

원문 바로가기
0

댓글

0