지수적으로 감쇠하는 메모리를 통한 Attention 보강이 Query-Aware KV Sparsity를 개선함

효율적인 추론 (Inference)은 긴 문맥 (Long-context) 언어 모델에서 매우 중요한데, 여기서 어텐션 (Attention) 계산과 KV-캐시 (KV-cache) 접근이 비용의 대부분을 차지합니다. 최근 연구인 RAT+는 추론 시점에 유연한 희소 어텐션 (Dilated attention)을 가능하게 하는 재귀 보강 어텐션 (Recurrence-augmented attention) 백본을 도입했습니다. 본 논문에서는 이러한 지수적으로 감쇠하는 메모리 (Exponentially decaying memory)가 기존의 쿼리 인식 희소 추론 (Query-aware sparse inference) 방법들을 개선할 수 있는지 조사합니다. Quest, MoBA, SnapKV를 포함한 대표적인 방법들을 사용하여, 8개의 Needle-in-a-haystack 작업에서 다양한 희소 예산 (Sparse budgets)에 걸쳐 RAT+가 표준 어텐션 (Standard attention)보다 일관되게 정확도를 향상시킨다는 것을 보여줍니다. 우리는 이러한 이득을 RAT+ 논문에서 공개된 체크포인트와, 메모리 모듈을 추가하여 10B 토큰 동안 계속 사전 학습 (Pretraining)을 진행한 OLMo2-7B 모두에서 검증합니다. 마지막으로, 우리는 이 메모리 모듈이 왜 쿼리 인식 희소 추론 (Query-aware sparse inference)에 도움이 되는지를 설명하는 두 가지 가설을 제안하고, 이를 뒷받침하기 위한 표적 실험을 설계합니다.