KV 캐시 양자화(Quantization) 벤치마크 결과: TurboQuant는 과대평가되었으나 TCQ로 구제됨, q5는 더 주목받아야 하며

요약

RTX 3090 환경에서 Qwen 3.6 27B 모델을 대상으로 KV 캐시 양자화 성능을 PPL과 KLD 지표로 분석한 벤치마크 결과입니다. 분석 결과, PPL은 양자화 손실을 과소평가하는 경향이 있어 도구 호출이나 JSON 구조 유지에 중요한 99.9% KLD 지표를 확인하는 것이 필수적임을 강조합니다.

핵심 포인트

• PPL은 양자화로 인한 성능 저하를 숨기지만, KLD(Kullback–Leibler divergence)는 꼬리 부분의 정밀도 손실을 명확히 드러냄
• TurboQuant는 2-3 bit의 극단적인 저비트 영역에서 TCQ를 통해 유효한 성능을 보여주지만, 4-bit 영역에서는 이점이 적음
• 비대칭형(Asymmetric) KV 양자화가 동일 메모리 사용량의 대칭형(Symmetric) 방식보다 정밀도 면에서 우수함
• 모델 자체의 정밀도가 높을수록 KV 캐시 양자화로 인한 정밀도 손실이 더 크게 나타나는 상관관계가 있음
• VRAM 여유가 없다면 q8_0보다는 q5_0 수준이 효율적인 선택지가 될 수 있음