기사 링크: KV 캐시 양자화 벤치마크(KV Cache Quantization Benchmarks): 더 많은 KV 캐시 양자화 옵션을 제공하는 llama.cpp의 포크 버전인 BeeLlama.cpp v0.4.0을 이용한 KVarN 및 Precision Tail KLD 벤치마크.

모델:

• Qwen 3.6 27B Q5_K_S 64k 컨텍스트(context)
• Gemma 4 31B Q5_K_S 16k 컨텍스트(context)

표준 양자화(Standard quants), 확장형: q6_0 및 q6_1, 그리고 q2_0부터 q3_1까지의 저비트(low-bit) 유형.

KVarN: Huawei에서 개발한 분산 정규화 KV 캐시(Variance-Normalized KV-Cache).
Precision Tail: KV 캐시의 최신 X 토큰을 (B)F16으로 유지하는 방식. BeeLlama에 구현됨.

총 413개 구성: Qwen 3.6 27B로 238개, Gemma 4 31B로 175개.

추천 단계(The Recommendation Ladder)
전체 벤치마크 결과, 설정, 방법, 분석, 설명 및 기타 모든 내용은 기사에서 확인할 수 있습니다.

1. Qwen 캐시 테일(Cache Tail)

Qwen Standard-Only Cache Tail KV cache (MiB) Median KLD 99.9% KLD 용도
| bf16 | 0 | 4096.00 | 0 | 0.00005 | 기준점 (Reference)
| q8_0 | 0 | 2176.00 | 0.000909 | 0.093029 | 손실을 최소화한 압축 (Compression with minimal losses)
| q8_0-q6_0 | 0 | 1920.00 | 0.000937 | 0.093575 | q8_0보다 256.00 MiB 낮음
| q6_0 | 0 | 1664.00 | 0.00096 | 0.091134 | 하이엔드 가치 선택지 (The high-end value pick)
| q6_0-q5_0 | 0 | 1536.00 | 0.001054 | 0.09467 | 균형 잡힌 기본값 (Balanced default)
| q5_0 | 0 | 1408.00 | 0.001154 | 0.09707 | 급격한 성능 저하 전 마지막 단계 (Last tier before the cliff)
| q5_0-q4_1 | 0 | 1344.00 | 0.001433 | 0.122096 | VRAM 제약 시 기본값 (Default when VRAM-constrained)
| q5_0-q4_0 | 0 | 1280.00 | 0.001516 | 0.121068 | 64.00 MiB 더 저렴하지만 중앙값은 더 나쁨
| q4_0 | 0 | 1152.00 | 0.001846 | 0.154408 | 권장되는 최소 단계 (Smallest recommended tier)
| q4_0-q3_0 | 0 | 1024.00 | 0.003313 | 0.218912 | 컨텍스트를 반드시 맞춰야 할 때 (When the context must fit)
| q3_0 | 0 | 896.00 | 0.004696 | 0.304186 | 비상 압축 (Emergency compression)
| q2_0 | 0 | 640.00 | 0.019374 | 1.198902 | 최후의 수단 (Last resort)

3. Gemma Cache Tail KV cache (MiB) Median KLD 99.9% KLD 용도
   | bf16 | 0 | 2480.00 | 0 | 0.000047 | 기준점 (Reference)
   | q8_0 | 0 | 1317.50 | 0.0371 | 16.813929 | 전체 프리필 (prefill) 속도에서의 일반적인 기본값
   | q8_0-q6_0 | 0 | 1162.50 | 0.040875 | 16.839821 | q8_0보다 155.00 MiB 낮음
   | q6_0 | 0 | 1007.50 | 0.042636 | 17.30599 | 급격한 성능 저하 전 마지막 단계 (Last tier before the cliff)
   | q6_0-q5_0 | 0 | 930.00 | 0.055236 | 17.26157 | K 측면이 더 강함, q5_0보다 77.50 MiB 높음
   | q5_0 | 0 | 852.50 | 0.061747 | 18.731647 | 사용 가능한 품질을 위한 메모리 하한선 (Memory floor for usable quality)
   | q5_0-q4_0 | 0 | 775.00 | 0.109427 | 19.183374 | 비대칭 압축 (Asymmetric compact)
   | q4_0 | 0 | 697.50 | 0.134091 | 20.442234 | 거대한 성능 저하 전의 예산 범위 (Budget body before the huge cliff)
   | q4_0-q3_0 | 0 | 620.00 | 0.381216 | 22.304634 | 컨텍스트를 반드시 맞춰야 할 때 (When the context must fit)
   | q3_0 | 0 | 542.50 | 0.504075 | 23.15744 | 비상 압축 (Emergency compression)
   | q2_0 | 0 | 387.50 | 2.95758 | 27.834961 | 최후의 수단 (Last resort)

/u/Anbeeld에 의해 제출됨 [link] [comments]