FreqDepthKV: 장문 컨텍스트 LLM 추론을 위한 주파수 기반 깊이 공유를 통한 견고한 KV 캐시 압축

요약

FreqDepthKV는 장문 컨텍스트 LLM 추론 시 발생하는 KV 캐시 메모리 및 대역폭 문제를 해결하는 새로운 캐시 압축 기법입니다. 이 방법은 인접 레이어의 KV 상태를 공유 저주파 깊이와 희소 고주파 잔차로 인수분해하여 효율적으로 압축합니다. 다양한 벤치마크에서 높은 정확도를 유지하면서 메모리 사용량과 처리량을 크게 개선했습니다.

핵심 포인트

• KV 캐시 문제를 해결하는 새로운 추론 시간 압축 방법 제시
• 공유 저주파 깊이와 고주파 잔차로 KV 상태를 인수분해
• 32k 토큰에서 높은 정확도 유지 및 메모리 사용량 대폭 감소
• 디코딩 처리량을 향상시키고 유효 압축률 3.9배 달성