Huawei CSL, vLLM을 위한 KV-cache 양자화 플러그인 개발

요약

Huawei CSL이 vLLM용 KV-cache 양자화 플러그인을 개발했습니다. Hadamard 회전과 분산 정규화를 활용해 별도의 교정 없이도 높은 정밀도와 처리량을 제공합니다.

핵심 포인트

• 별도의 교정(Calibration) 과정 없이 즉시 사용 가능
• 캐시 용량을 3~5배 확장하여 긴 문맥 처리에 유리
• TurboQuant 대비 2.4배 빠른 속도와 높은 정밀도 구현
• Qwen3-32B 테스트 결과 FP16 수준의 정밀도 유지