Muon의 스펙트럼 역학 및 노이즈 기하학

Muon은 행렬 그래디언트 (matrix gradient) $G=UΣV^ op$를 그 극 분해 인자 (polar factor) $UV^ op$로 대체합니다. 이는 그래디언트에 의해 선택된 특이 방향 (singular directions)은 유지하면서도, 업데이트 스펙트럼 (update spectrum)을 평탄하게(flat) 만듭니다. 우리는 이 연산에 의해 발생하는 최적화 편향 (optimization bias)을 연구합니다. 명시적인 정렬 가정 (explicit alignment assumptions) 하에, 우리는 극 업데이트 (polar update)가 그래디언트의 특이 방향을 사용하면서 현재 가중치 스펙트럼 (weight spectrum)에 적응하지 않는 유계 업데이트 (bounded updates)들 중에서 1단계 엔트로피 최대화 (one-step entropy-maximizing) 선택임을 증명합니다. 결정 불능 회귀 모델 (underdetermined regression model)에서, 우리는 연속 시간 Muon에 대한 정확한 특이값 역학 (singular-value dynamics)을 도출하고, 정규화된 스펙트럼이 동일한 비제로 특이값 (equal nonzero singular values)을 향해 이동하는 측정 의존적 조건 (measurement-dependent condition)을 식별합니다. 이러한 기하학적 구조는 흔히 사용되는 저계수 (low-rank) 해석을 배제합니다. 즉, 고정된 프로베니우스 노름 (Frobenius norm)에서 Muon의 특징적인 상태는 평탄한 스펙트럼을 갖는 반면, 핵 노름 최소화 (nuclear-norm minimization)는 스펙트럼 집중 (spectral concentration)을 선호합니다. 통제된 행렬 센싱 (matrix-sensing) 실험을 통해 이 효과가 단순한 그래디언트 재스케일링 (gradient rescaling)과는 다르다는 것을 분리하여 보여주었으며, 노름이 일치된 경사 하강법 (norm-matched gradient descent)은 Muon을 재현하지 못함을 보여주었고, 광범위한 절제 연구 (ablations)를 통해 예측된 평탄화 경향을 확인했습니다. 소규모 NanoGPT 사전 학습 (pretraining)에서 Muon은 안정적인 계수 (stable rank)를 유지하고, 넓은 학습률 고원 (learning-rate plateau)을 가지며, AdamW 대비 검증 손실 (validation loss)을 개선합니다. 하지만 일치된 소규모 ViT 대조군에서는 그 순위가 뒤바뀝니다. 결과적인 그림은 체제 의존적 (regime-dependent)입니다. 즉, Muon이 보편적으로 우월한 것은 아니지만, 많은 스펙트럼 방향이 활성 상태로 유지되어야 할 때는 그 평탄한 스펙트럼 편향 (flat-spectrum bias)이 도움이 될 수 있습니다.