KVarN: 분산 정규화 KV-Cache 양자화 (Variance-Normalized KV-Cache Quantization) [R]

요약

KVarN은 Hadamard 회전과 분산 정규화를 결합하여 KV-Cache를 양자화하는 새로운 방법론입니다. AIME24와 같은 벤치마크에서 정확도 저하를 최소화하면서 3-4배의 압축률을 달성했으며, vLLM 환경에서 추론 속도 향상까지 입증했습니다.

핵심 포인트

• Hadamard 회전과 분산 정규화를 통한 효율적인 KV-Cache 양자화
• AIME24 벤치마크에서 정확도 저하 0-1% 수준의 높은 성능 유지
• 3-4배의 압축률 달성 및 vLLM 기반 추론 속도 향상
• 토큰 스케일 불균형으로 인한 양자화 오류 문제를 정규화로 해결