추론 비전-언어 모델용 정책 보존 저랭크 KV 캐시 압축: TraceKV

요약

추론 비전-언어 모델(VLM)은 대규모 KV 캐시 요구량과 정책 드리프트 문제를 겪습니다. 본 논문은 이러한 성능 저하를 해결하기 위해, 온-정책 보정 등을 통합한 학습 불필요 프레임워크인 TraceKV를 제안합니다. 실험 결과, TraceKV는 우수한 정확도와 메모리 트레이드오프를 입증하며, 높은 압축률과 디코딩 속도 향상을 달성했습니다.

핵심 포인트

• 기존 저랭크 방법은 정책 드리프트로 인해 추론 실패 위험이 높음.
• TraceKV는 온-정책 보정 등 3가지 원칙을 통합한 학습 불필요 프레임워크.
• VLM에서 높은 정확도와 메모리 효율성을 입증하며, 거의 손실 없는 압축률 달성.
• 양자화 결합 시 KV 캐시 $5.64 imes$ 압축 및 디코딩 속도 최대 $1.83 imes$ 향상.