OrScale: 레이어별 신뢰 비율 스케일링을 이용한 직교화 최적화

요약

OrScale은 기존의 직교화 최적화 기법인 Muon을 확장한 새로운 스케일링 방법입니다. 이 방법은 각 레이어별로 업데이트 크기를 신뢰 비율에 기반하여 정밀하게 제어함으로써, 일반적인 행렬 레이어와 대규모 언어 모델(LLM) 모두에 적용 가능합니다. OrScale은 이론적으로 강력한 수렴 보장과 레이어 적응 하강 이득을 제공하며, 실험적으로 CIFAR-10 및 다양한 규모의 LLM 사전 학습에서 기존 최적화 기법 대비 성능 향상을 입증했습니다.

핵심 포인트

• OrScale은 Muon의 신뢰 비율 개념을 확장하여 레이어별 업데이트 크기를 정밀하게 스케일링합니다.
• 레이어별 분모를 실제 매개변수 공간 방향의 Frobenius 노름으로 측정하여 정확도를 높였습니다.
• 이론적으로 OrScale은 핵 노름 기준에서 $O(1/ ext{sqrt}(T))$의 비볼록 수렴 보장을 제공하며, 레이어 적응 하강 이득을 가집니다.
• 실험 결과, CIFAR-10 및 다양한 규모의 LLM 사전 학습 태스크에서 기존 최적화 기법 대비 성능 향상을 보여주었습니다.