KVarN: 분산 정규화 KV-Cache 양자화 (Variance-Normalized KV-Cache Quantization) [R]

여기서 제 연구 결과 중 일부를 공유하게 되어 기쁩니다 :) KVarN은 저희의 새로운 KV-Cache 양자화 (Quantization) 방법입니다. 아주 간단히 설명하자면, K 및 V 행렬의 양쪽 축 모두에 Hadamard 회전 (Hadamard rotations)과 분산 정규화 (variance-normalization)를 결합한 다음, 가장 가까운 값으로 반올림 (round to nearest)합니다. 단순하지만 매우 효과적이며, 특히 디코딩 비중이 높은 테스트 시간 스케일링 (test-time-scaling) 설정(추론, 코드 생성, 에이전트 기능 등)에서 잘 작동합니다. 저희는 AIME24와 같은 까다로운 벤치마크에서 정확도 저하가 거의 없이 (대부분 0-1%) 3-4배의 압축을 달성했으며, (최근의 다른 KV-Cache 압축 연구들과 대조적으로) vLLM에서 fp16 베이스라인 대비 속도 향상을 얻었습니다. 그 이면에는 양자화 오류가 어디에서 발생하며, 특히 오류가 누적되는 디코딩 설정에서 어디에 가장 큰 영향을 미치는지에 대한 분석이 담겨 있습니다: 1) 큰 오류를 수정하는 것이 불균형적으로 유용합니다 (만약 수정할 수 있는 고정된 MSE 예산이 있다면, 많은 작은 오류보다는 소수의 큰 오류에 예산을 써야 합니다) 2) 이러한 큰 오류는 대부분 잘못된 토큰 스케일 (token-scales)로 인해 발생합니다 (따라서 정규화가 필요합니다). 논문: https://arxiv.org/abs/2606.03458 vLLM 구현: https://github.com/huawei-csl/KVarN /u/intentionallyBlue가 r/MachineLearning에 제출함 [link] [comments]