Nora: 대규모 모델 훈련을 위한 확장 가능한 행렬 최적화기 (Normalized Orthogonal Row Alignment)

요약

Nora는 대형 언어 모델(LLM) 훈련의 안정성과 효율성 문제를 해결하기 위해 제안된 새로운 행렬 최적화기입니다. 이 최적화기는 row-wise momentum projection을 통해 가중치 노름과 각속도를 명시적으로 안정화하여 훈련 안정성을 확보합니다. 또한, Transformer Hessian의 구조적 특성을 활용하여 계산 복잡도를 $\text{O}(mn)$으로 유지하면서도 효과적인 사전 조건화(preconditioning)를 가능하게 하여 대규모 모델 훈련에 매우 효율적입니다.

핵심 포인트

• Nora는 LLM 훈련을 위한 새로운 행렬 최적화기로, 안정성과 효율성을 동시에 개선했습니다.
• Row-wise momentum projection을 사용하여 가중치 노름과 각속도를 명시적으로 안정화함으로써 훈련의 안정성을 높였습니다.
• Transformer Hessian의 블록 대각 우세성(block-diagonal dominance)을 활용하여 구조적 사전 조건화를 효과적으로 근사합니다.
• 계산 복잡도를 $\text{O}(mn)$으로 유지하면서도 확장 가능한 최적화자임을 증명하고 관련 스케일링 정리를 확립했습니다.