선택적 상태 공간 모델에서의 상태 사용에 대한 정확한 측정 도구와 그로 인해 드러나는 입력 기반 마이그레이션
요약
본 논문은 Mamba와 같은 선택적 상태 공간 모델(Selective state-space models)이 정보를 경로화하는 방식을 측정하는 정확한 도구를 제시합니다. 이 도구는 Gram 텐서를 활용하여 특정 모드 하위 집합을 드롭했을 때의 출력 오차를 정밀하게 예측할 수 있습니다. 연구 결과, 학습된 모델은 입력에 따라 상태 공간을 재할당하며, 이는 주로 입력 의존적 쓰기 맵 $B_t$에 기인합니다.
핵심 포인트
- 선택적 상태 공간 모델의 모드 사용량을 측정하는 정확한 도구 제시
- 모델이 입력 컨텍스트를 가로질러 상태 공간을 재할당함을 발견
- 새로운 가지치기 방법은 기존 방식보다 우수하며, 적은 자원으로도 높은 성능 유지 가능
Mamba와 같은 선택적 상태 공간 모델(Selective state-space models)은 학습된 선택 메커니즘에 의해 입력 결합이 설정되는 1차 모드(first-order modes) 은행을 통해 정보를 경로화합니다. 우리는 학습된 모델이 이러한 모드를 어떻게 사용하는지 측정하는 정확한 도구를 제시합니다. 상태 행렬이 대각선이기 때문에, 각 채널의 출력은 모드별 기여분으로 정확하게 분해되며, (레이어, 채널, 윈도우)별 Gram 텐서(Gram tensor)는 임의의 모드 하위 집합을 드롭했을 때의 정확한 출력 오차를 오프라인에서, 어떤 예산(budget)에서도 제공합니다. Mamba-1 계열에서 정확한 경우인 참조 구현과 비교하여 $2.3 imes10^{-7}$의 상대 오차로 검증되었으며, 이 도구는 4,464개 구성에 걸쳐 중앙값 상대 편차가 $5 imes10^{-7}$인 레이어 배포 가지치기(pruning) 오류를 예측합니다. 그 하한선은 재구성(reconstruction)에 의해 설정됩니다. Mamba-1 계열(130M~2.8B), 배포된 7B Falcon-Mamba, 그리고 Mamba-2 전반에 걸쳐 이 도구를 적용하여, 우리는 학습된 모델이 입력과 함께 상태 공간을 재할당한다는 것을 발견합니다: 즉, 신호를 담는 모드가 컨텍스트를 가로질러 이동하며(migrates across contexts), 가장 영향을 받는 레이어에서는 입력별 오라클(per-input oracle)이 고정된 모드 세트의 출력 오류를 대략 절반으로 줄입니다. 동결된 신호 카운터팩추얼(Frozen-signal counterfactuals)은 이 이동을 주로 입력 의존적 쓰기 맵 $B_t$에 기인한다고 설명하며, 선택성에 일반적으로 식별되는 타임스텝은 거의 아무것도 담지 않습니다. 이러한 측정 기반의 입력 스케줄링 모드 가지치기는 130M부터 배포된 7B Falcon-Mamba까지 모든 규모에서 정적(static), Hankel 기반, 레이어 적응형 순위 지정보다 우수하며, 상태 예산의 절반만으로도 가지치기되지 않은 모델과 일치합니다. 스케줄러가 각 윈도우의 모드 사용량을 첫 번째 패스에서 읽기 때문에, 이는 실현 가능한 여유 공간(realizable headroom)을 입증하며, 우리는 어떠한 배포 컴퓨팅이나 메모리 절약도 주장하지 않습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기