A new generation of AI models and one of the most powerful research papers out

요약

본 기사는 Token AI가 발표한 새로운 최적화 알고리즘인 'Stable Training with Adaptive Momentum (STAM)'을 소개합니다. STAM은 기존의 Adam, AdamW 등 고정된 모멘텀 값으로 인해 발생하는 훈련 불안정성 문제를 해결하며, 그래디언트와 이전 모멘텀 간의 차이를 측정하여 적응형 beta1을 적용함으로써 안정적인 학습을 유도합니다. 특히 경량 버전인 STAMLite는 기존 최적화기 대비 메모리 효율성을 크게 개선하면서도 뛰어난 성능을 보여주어, LLM 훈련에 새로운 표준이 될 잠재력을 제시합니다.

핵심 포인트

• STAM은 고정된 모멘텀 값의 한계를 극복하고 적응형 beta1을 도입하여 AI 모델 훈련의 안정성을 높입니다.
• STAMLite는 AdamW 대비 메모리 사용량을 크게 줄여(약 1× 파라미터 크기) GPU 리소스를 절약하면서도 높은 성능을 유지합니다.
• STAM은 기존 최적화기에 대한 의존도를 깨고, LLM 등 대규모 모델 훈련에 새로운 표준을 제시할 잠재력을 가집니다.
• 벤치마크 결과에서 STAMLite는 뛰어난 정확도와 손실 값을 보여주며, STAM 역시 최고 수준의 성능을 입증했습니다.