ReFreeKV: 임계값 없는 KV 캐시 압축을 향하여

요약

LLM 추론 시 메모리 효율을 높이기 위한 KV 캐시 프루닝 기술의 한계인 '입력/도메인별 임계값 의존성'을 해결하는 ReFreeKV를 제안합니다. 임계값 제약 없이 예산 할당을 적응적으로 조정하여 다양한 입력 환경에서도 성능 저하 없이 효율적인 압축을 달성합니다.

핵심 포인트

• 기존 KV 캐시 프루닝의 임계값 설정 의존성 문제 해결
• 임계값 없이 예산을 적응적으로 조정하는 새로운 목적 함수 제안
• 다양한 컨텍스트 길이와 모델 크기에서 높은 효율성 입증
• 오픈 도메인 입력에 대해 견고한 KV 압축 성능 제공