행렬 기반 최적화기는 대형 언어 모델 (LLM) 훈련에서 막대한 잠재력을 입증했지만, 이상적인 최적화기를 설계하는 것은 여전히 formidable(엄청난) 도전 과제입니다. 우수한 최적화기는 세 가지 핵심 요구사항을 충족해야 합니다: 효율성 (Muon 와 같은 preconditioning 을 통해 최적화를 가속화), 안정성 (신경망에 내재된 scale-invariance 에 엄격히 준수), 그리고 속도 (계산 오버헤드를 최소화). 기존 방법들은 이러한 측면을 다양한程度上 해결하지만, 종종 Muon 과 같이 prohibitive(과도한) 계산 비용을 초래하거나 RMNP 와 같은 radial jitters 를 허용하여 안정성을 해칩니다. 이 격차를 해소하기 위해 우리는 Nora 라는 최적화기를 제안합니다. Nora 는 행렬에 대한 row-wise momentum projection 을 통해 weight norms 과 angular velocities 를 명시적으로 안정화함으로써 훈련 안정성을 달성합니다. 동시에, Transformer Hessian 의 block-diagonal dominance 를 활용하여 Nora 는 structured preconditioning 을 효과적으로 근사하면서 $\ ext{O}(mn)$ 의 최적 계산 복잡도를 유지합니다. 또한, Nora 가 확장 가능한 최적화자임을 증명하고 이에 해당하는 scaling theorems 을 확립했습니다. 두 줄의 코드만 필요한 stream-lined 구현으로, 우리의 예비 실험은 대규모 훈련을 위한 효율적이고 매우 유망한 최적화기인 Nora 를 검증했습니다.