Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 논문은 확률적 최적화 방법론에 대한 새로운 통계적 관점을 제시합니다. 그래디언트를 정규 분포로 모델링하고 공분산을 활용하여 화이트닝하는 온라인 방법을 제안하며, 이를 통해 Adam, Shampoo, Muon 등의 기존 옵티마이저를 개선한 MND-Muon 및 MN-Muon을 개발했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG (Machine Learning)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기우리는 확률적 최적화(stochastic optimization) 방법 설계에 대한 새로운 통계적 통찰을 제공합니다. 그래디언트(gradient)를 정규 분포(normal distribution)로 모델링함으로써, 우리는 확률적 그래디언트는 그 공분산(covariance)을 사용하여 화이트닝(whitening)되어야 한다고 주장합니다. 우리는 정규화된 우도(regularized likelihood) 또는 동등하게 최대 사후 확률 추정(maximum a posteriori estimate)을 통해 그래디언트의 평균과 분산을 추정하는 온라인 방법을 제시합니다. 그런 다음, 우리는 이 동일한 프레임워크 내에서 공분산에 대한 구조적 근사치(structured approximations)를 사용하는 방법을 보여주는데, 여기에는 대각선(diagonal) 및 Kronecker-factored 근사치가 포함됩니다. 대각선 근사치는 Adam과 매우 밀접하게 관련되어 있으며 실습에서 잘 작동하는 방법을 산출합니다. Kronecker 근사치는 Shampoo의 변형이자 KL-Shampoo인 새로운 MN 방법을 산출합니다. 또한, 우리는 전체 그래디언트가 아닌 그래디언트 방향에 이 동일한 통계적 프레임워크를 적용함으로써 Muon을 복원합니다. 이를 화이트닝 단계와 결합하여, 우리는 Muon의 새로운 전처리된 버전인 MN-Muon에 도달합니다. Chinchilla 규모에서 GPT-2 유형 모델에 대한 우리의 실험은 MND(MN의 대각선 구현)가 안정성, 최종 검증 손실(validation loss), 소요 시간 측면에서 Distributed Shampoo와 KL-Shampoo 구현 모두를 능가함을 나타냅니다. MND-Muon(MN-Muon의 대각선 구현)은 24개의 쌍으로 이루어진 GPT-small 실행 중 21개에서 Muon보다 개선되었으며, 테스트된 여섯 가지 학습률에 걸쳐 안정성을 유지하면서 GPT-medium에서 더 낮은 최고 검증 손실을 달성합니다. 그러나 우리는 NorMuon이 MND-Muon과 유사했으며 FineWeb에서 GPT-medium 및 GPT-small 배치 512에서 약간 더 낮은 검증 손실을 달성했음을 발견했습니다.