긴 추론을 위한 정보 인지형 KV 캐시 압축 (Information-Aware KV Cache Compression for Long

요약

LLM의 긴 문맥 추론 시 발생하는 KV 캐시 문제를 해결하기 위해 정보 이론적 신호를 활용한 InfoKV 프레임워크를 제안합니다. 기존 어텐션 기반 방식과 달리 예측 불확실성을 고려하여 미래 문맥에 실질적인 영향을 미치는 토큰을 효과적으로 압축합니다.

핵심 포인트

• 기존 어텐션 기반 KV 캐시 압축의 한계인 정보성 간과 문제 지적
• 미래 문맥에 미치는 영향을 측정하는 Forward Influence 지표 도입
• 엔트로피와 어텐션 점수를 결합한 InfoKV 프레임워크 제안
• Llama-3.1, DeepSeek-R1 등에서 기존 방식 대비 우수한 성능 입증