WindowQuant: VLM 추론 최적화를 위한 윈도우 레벨 유사성에 기반한 혼합 정밀도 KV 캐시 양자화

요약

WindowQuant는 비디오 언어 모델(VLMs)의 긴 시각 토큰 시퀀스로 인한 추론 지연 및 메모리 문제를 해결하기 위해 제안된 새로운 방법입니다. 이 기법은 윈도우 레벨 유사성 검색을 통해 KV 캐시의 최적 비트 폭 구성을 빠르게 결정하고, 윈도우 레벨 계산으로 양자화 전 KV 캐시를 재배치하여 하드웨어 효율성을 높입니다. 실험 결과, WindowQuant는 기존 VLM 모델 및 KV 캐시 양자화 방법들보다 우수한 성능을 보여주었습니다.

핵심 포인트

• VLM의 긴 시각 토큰 시퀀스는 높은 추론 지연과 GPU 메모리 사용량을 유발하는 주요 병목 현상입니다.
• WindowQuant는 윈도우 레벨 유사성 검색을 사용하여 KV 캐시의 최적 비트 폭 구성을 효율적으로 결정합니다.
• 이 방법은 양자화 전 KV 캐시를 재배치하여 혼합 정밀도 사용으로 인한 하드웨어 비효율성을 극복합니다.
• WindowQuant는 다양한 데이터셋에서 기존 VLM 및 KV 캐시 최적화 기법들을 능가하는 성능을 입증했습니다.