Muir: 민감도 할당 게이팅 및 매치드-필터 리드아웃을 사용한 선형 어텐션 (Google Research, 10M 토큰을 25MB 상태로

논문: https://arxiv.org/abs/2611.08376 | HF: https://huggingface.co/papers/2611.08376

10M 토큰 규모에서 1.3B 트랜스포머(Transformer)는 2.1 TB의 KV 캐시가 필요하며 (2.5-bit 양자화에서도 0.32 TB), 채널별 게이팅 델타 모델(Channel-wise gated delta models, 예: Gated DeltaNet-2 / GDN-2)은 히스토리를 고정된 25 MB 상태로 압축하지만, 100B 토큰 학습 과정에서 Muir가 해결하는 세 가지 병목 현상을 겪습니다:

1. 100배 느린 채널 글레어(slow-channel glare) -> 매치드-필터 리드아웃 (Matched-filter readout): 느리게 감쇠하는 행들은 빠른 행들보다 최대 100배 많은 에너지를 축적하여 쿼리 리드아웃을 압도하고, 초기 사실들을 덮어쓰는 가혹한 쓰기 시간 삭제(write-time erasure)를 강제합니다. 역분수 거듭제곱 법칙(inverse fractional power law)과 토큰별 쿼리 변조를 통해 행들을 평준화하면 쓰기 삭제가 17% 완화되고, 검색 범위(lookback horizon)가 60% 확장됩니다.

2. 13배의 쓰기 대 삭제 민감도 (write-vs-erase sensitivity) -> +30.4% 더 넓은 FFN: 정규화된 키(Normalized keys)는 상태 행의 약 5%에 집중되는 반면 값(values)은 분산되어 있어, 업데이트가 키 삭제보다 값 쓰기에 13배 더 민감하게 만듭니다. 모든 5개의 게이트를 하나의 rank-512 투영으로 통합하면 엄격한 파라미터 예산 내에서 게이트 파라미터를 4.5배 줄이면서 FFN을 +30.4% 넓힐 수 있습니다.

3. 수치적으로 안정적인 대규모 청크 병렬 커널 (Numerically-stable, large-chunk parallel kernel): 비분할 감쇠 나눗셈(Unpivoted decay division)은 큰 청크 크기에서 fp32를 언더플로우시키고 헤드 중 25%에서 NaNs가 발생합니다. 경계 분할 곱셈 감쇠(Boundary-pivoted multiplicative decays)는 영 나누기와 함께 (0, 1] 범위 내에 머무르며, 재귀 블록-노이만 솔버(recursive block-Neumann solver)를 통해 청크별 FLOPs의 98%를 행렬 유닛으로 라우팅합니다 (벡터 FLOPs는 24배 적음).

​https://preview.redd.it/zgsr9oynm10i1.png?width=2382&format=png&auto=webp&s=9373d5a667567c211f679bdf0759ed8dcc79dbd3 https://preview.redd.it/unnegoynm10i1.png?width=2289&format=png&auto=webp&s=c6390b2a2324527fcb15576e1614bc4a3349a961

결과:

• 품질 및 속도: 모든 규모에서 퍼플렉서티(perplexity)와 제로샷 추론(zero-shot reasoning) 측면에서 GDN-2와 트랜스포머를 능가합니다 (GDN-2 대비 1.2배 토큰 효율성). 또한, 32K에서 Splash Attention보다 2.7배 빠르게 학습됩니다.
• 패스키 이상의 검색: GDN-2와 비교했을 때 RULER 5-hop 변수 추적 루트 유지율(Variable Tracking root retention)이 (28.4% -> 48.0%) 증가했으며, 8K에서의 초기 깊이 검색(early-depth recall)은 (1% -> 31%)로, 실제 추출형 QA(extractive QA)는 평균 +2.5 포인트 향상되었습니다.

10M 스트리밍 및 1M 패스키: 25 MB의 상태(동적 리드아웃, dynamic readout)에서 퍼플렉서티 드리프트(perplexity drift) 없이 10M 토큰을 스트리밍하며, 1M 토큰(정적 리드아웃, static readout)에서는 90.0% 제로샷(zero-shot) / 99.4% 냉각 후 패스키 정확도를 달성합니다 (이 지점에서 GDN-2는 4K-8K를 넘어서 무너지고 Transformer는 64K를 넘어서 OOM 발생). 제출자: /u/CategoryNormal149 [링크] [댓글]