선형 어텐션(Linear Attention)을 위한 해마: 순환 상태(Recurrent State)가 망각하는 것에 대한 정확한 메모리

요약

선형 어텐션 모델의 고질적인 문제인 메모리 손실을 해결하기 위해 해마(Hippocampal) 구조를 도입한 HOLA를 제안합니다. HOLA는 압축된 순환 상태와 정확한 KV 캐시를 결합하여, 긴 문맥에서도 정보 망각 없이 높은 검색 성능을 유지합니다.

핵심 포인트

• 선형 어텐션의 정보 압축 과정에서 발생하는 메모리 손실 문제 해결
• 해마 구조를 모방하여 압축 상태와 정확한 KV 캐시를 병행 사용
• Wikitext 및 LAMBADA 벤치마크에서 기존 모델 대비 성능 개선
• RULER 테스트에서 32k 토큰까지 강력한 Needle-in-a-haystack 성능 입증