Nora: 대규모 모델 훈련을 위한 확장 가능한 행렬 최적화기 (Normalized Orthogonal Row Alignment)

행렬 기반 최적화기는 대형 언어 모델 (LLM) 훈련에서 막대한 잠재력을 입증했지만, 이상적인 최적화기를 설계하는 것은 여전히 formidable(엄청난) 도전 과제입니다. 우수한 최적화기는 세 가지 핵심 요구사항을 충족해야 합니다: 효율성 (Muon 와 같은 preconditioning 을 통해 최적화를 가속화), 안정성 (신경망에 내재된 scale-invariance 에 엄격히 준수), 그리고 속도 (계산 오버헤드를 최소화). 기존 방법들은 이러한 측면을 다양한程度上 해결하지만, 종종 Muon 과 같이 prohibitive(과도한) 계산 비용을 초래하거나 RMNP 와 같은 radial jitters 를 허용하여 안정성을 해칩니다. 이 격차를 해소하기 위해 우리는 Nora 라는 최적화기를 제안합니다. Nora 는 행렬에 대한 row-wise momentum projection 을 통해 weight norms 과 angular velocities 를 명시적으로 안정화함으로써 훈련 안정성을 달성합니다. 동시에, Transformer Hessian 의 block-diagonal dominance 를 활용하여 Nora 는 structured preconditioning 을 효과적으로 근사하면서 $\ ext{O}(mn)$ 의 최적 계산 복잡도를 유지합니다. 또한, Nora 가 확장 가능한 최적화자임을 증명하고 이에 해당하는 scaling theorems 을 확립했습니다. 두 줄의 코드만 필요한 stream-lined 구현으로, 우리의 예비 실험은 대규모 훈련을 위한 효율적이고 매우 유망한 최적화기인 Nora 를 검증했습니다.