요약

ReFreeKV는 KV 캐시 압축 시 수동 임계값 설정이 필요 없는 적응형 프루닝 기술을 제안합니다. 입력 복잡도에 따라 예산을 자동으로 조정하여 LLaMA, Mistral, Qwen 모델에서 높은 성능을 유지합니다.

핵심 포인트

• 수동 임계값 설정 없이 KV 캐시 압축 가능
• 입력 복잡도에 따른 적응형 프루닝(Adaptive pruning) 적용
• LLaMA, Mistral, Qwen 모델에서 Full-cache 성능 입증
• 13개의 데이터셋을 통한 성능 검증 완료