테스트 시간 학습을 통한 잠재적 압축 (Latent Compaction with Test-Time Training)

요약

본 논문은 긴 컨텍스트 처리 시 발생하는 KV 캐시의 메모리 및 어텐션 비용 문제를 해결하기 위해 'Latent Compaction'이라는 테스트 시간 학습 기법을 제안합니다. 이 방법은 재구성 중요도, 교사 어텐션 등을 활용하여 간결한 캐시를 학습하고, 엔드투엔드 증류를 통해 공동 최적화함으로써 압축 환경에서도 높은 검색 정확도를 유지함을 입증했습니다.

핵심 포인트

• 테스트 시간 학습(test-time training)을 통한 KV 캐시 압축 기법 제안
• 재구성 중요도 및 교사 어텐션 등을 활용하여 캐시 항목 초기화
• RULER 등 다양한 벤치마크에서 기존 대비 높은 정확도 입증
• 모델 가중치는 고정하고 문서 기반 일반 프롬프트로 학습 진행