잔차 보정 기반의 메모리 효율적인 부분 공간 최적화: Momentum SGD에서 Muon까지

요약

본 논문은 LLM 훈련 시 메모리 효율적인 부분 공간 최적화 기법을 제안합니다. 기존 방법의 한계를 극복하기 위해 잔차 보정 프레임워크를 도입하여 Momentum SGD와 Muon에 적용했습니다. 이를 통해 메모리 사용량을 줄이면서도 높은 수렴 속도를 유지하는 새로운 알고리즘(SMRC, PMRC)을 개발하고 그 효과를 입증했습니다.

핵심 포인트

• 잔차 보정 프레임워크로 LLM 훈련의 메모리 효율성을 높였습니다.
• Momentum SGD에 SMRC를 적용하여 $O(T^{-1/4})$ 수렴 속도를 달성했습니다.
• Muon에 PMRC를 통합하고 행렬 부호 기법을 사용하여 성능을 개선했습니다.
• 다단계 변형과 경계 보정 접근 방식으로 알고리즘의 안정성을 확보했습니다.