MuonSSM: 시퀀스 모델링을 위한 직교화된 상태 공간 모델 (State Space Models)

상태 공간 모델 (State Space Models, SSMs)은 긴 시퀀스 모델링 (long-sequence modeling)을 위해 어텐션 (attention)을 대체할 수 있는 효율적인 선형 시간 (linear-time) 대안으로 부상했습니다. 그러나 기존의 SSM은 조건화가 잘 되지 않은 1차 업데이트 (first-order updates)와 불균형한 업데이트 기하학 (unbalanced update geometry)으로 인해, 확장된 범위 (extended horizons)에서 불안정성과 메모리 저하 (memory degradation) 문제를 겪는 경우가 많습니다. 우리는 순환 전이 행렬 (recurrent transition matrix) 대신 메모리 업데이트의 기하학을 명시적으로 조건화함으로써 SSM 학습을 안정화하는 일반적인 프레임워크인 MuonSSM을 소개합니다. MuonSSM은 모멘텀 기반 경로 (momentum-based pathway)와 저계수 입력 주입 (low-rank input injections)에 대한 경량 뉴턴-슐츠 변환 (Newton-Schulz transformation)을 통해 SSM을 증강하며, 병렬 스캔 복잡도 (parallel scan complexity)를 유지하면서도 유계되고 스펙트럼 조건화된 (spectrally conditioned) 업데이트를 생성합니다. 이론적으로 MuonSSM은 그래디언트 전파 (gradient propagation)를 개선하고, 스펙트럼 증폭 (spectral amplification)을 완화하며, 긴 범위에 걸쳐 메모리 표현 (memory representations)을 풍부하게 함을 보여줍니다. 언어, 비전 및 시계열 벤치마크 전반에 걸친 광범위한 실험 결과, 다양한 SSM 백본 (backbones)에 통합되었을 때 정확도, 견고성 (robustness) 및 긴 컨텍스트 성능 (long-context performance)에서 일관된 이득을 보여주었습니다. 이러한 결과는 업데이트의 기하학적 조건화 (geometric conditioning)가 안정적이고 확장 가능한 시퀀스 모델링을 위한 원칙적인 경로임을 입증합니다.