선형 어텐션(Linear Attention)을 위한 해마: 순환 상태(Recurrent State)가 잊어버리는 것에 대한 정확한 메모리

요약

선형 어텐션 모델의 메모리 손실 문제를 해결하기 위해 해마(Hippocampus) 구조를 도입한 HOLA를 제안합니다. 고정된 순환 상태와 함께 정확한 KV 캐시를 병행 사용하여 긴 문맥에서도 높은 니들 리콜 성능을 유지합니다.

핵심 포인트

• 선형 어텐션의 고정된 순환 상태가 가진 메모리 압축 손실 문제 해결
• 해마 구조를 모방하여 압축 메모리와 정확한 KV 캐시를 결합한 HOLA 제안
• Wikitext perplexity를 16.1% 개선하며 Full-attention Transformer++ 성능 상회
• RULER 테스트에서 32k 토큰까지 강력한 니들 인-어-헤이스택(needle-in-a-haystack) 성능 입증