KVarN: Huawei의 새로운 KV-cache 양자화 기술. 속도 저하 없이 3~5배의 KV-cache 압축 구현, TurboQuant와

요약

Huawei가 오픈 소스로 공개한 KVarN은 속도 저하 없이 KV-cache를 3~5배 압축하는 새로운 양자화 기술입니다. 기존 TurboQuant와 달리 처리량과 추론 품질을 동시에 유지하며, vLLM에서 단일 플래그로 즉시 적용 가능합니다.

핵심 포인트

• FP16 대비 3~5배의 컨텍스트 확장 가능
• TurboQuant 대비 최대 2.4배 높은 처리량 제공
• 재학습이나 캘리브레이션 없이 vLLM에 즉시 적용
• 높은 압축률에서도 모델의 추론 품질 유지