Muon은 Newton-Schulz 반복법 (iteration)을 통해 각 가중치 행렬 (weight matrix)에 대한 업데이트를 직교화 (orthogonalize)하는 최신 최적화 도구 (optimizer)로, 스펙트럼 노름 (spectral norm) 하에서 가장 가파른 경사 하강법 (steepest descent)을 수행합니다. Muon에 대한 거의 모든 증거는 Transformer 모델에서 도출되었으며, 상태 공간 모델 (State Space Models)에서의 동작은 거의 보고된 바가 없습니다. 우리는 Muon으로 훈련할 가중치 그룹 (weight groups)만을 변경하는 통제된 프로토콜 하에서 Mamba-2 130M을 대상으로 Muon과 AdamW를 비교합니다. 그 이점은 국소적 (localized)입니다. 출력 투영 (output projection)에만 Muon을 적용하는 것이 입력 투영 (input projection)이나 양쪽 모두에 적용하는 것보다 성능이 뛰어납니다. 이 장점은 주로 토큰 효율성 (token efficiency) 측면에서 나타납니다. 이는 두 개의 코퍼스 (corpora)와 두 개의 토큰 예산 (token budgets)에서 유지되며, 계산 최적점 (compute-optimal point)을 훨씬 지나 훈련이 계속될 때도 지속됩니다. 컨디셔닝 (Conditioning)은 이 이득을 설명하지 못합니다. Muon은 훈련하는 투영의 조건수 (condition number)를 낮추지만, 더 나은 조건수를 가진 입력 투영이 도움이 되는 것은 아닙니다.