16GB VRAM에 맞는 21개 모델에 대한 Qwen3.8 27B KLD 테스트 결과

16GB VRAM에 들어가는 Qwen3.8 27B 모델의 KLD와 perplexity를 계산했습니다: 벤치마크는 댓글을 참고하세요. Reddit 필터 때문에 게시물이 계속 삭제됩니다. 결론: q5_1/q5_1이 q8_0/q4_0 또는 q4_0/q8_0보다 거의 항상 더 좋습니다. q8_0/q4_0과 q4_0/q8_0 사이에는 차이가 매우 적습니다. q4_0/q8_0가 때때로 q8_0/q4_0보다 낫습니다. 따라서 그냥 q5_1/q5_1을 선택하는 것이 안전합니다. 모델의 양자화(quant)를 높여서 q4_0/q4_0으로 실행하는 것은, 그보다 낮은 양자화를 f16/f16으로 실행하는 것보다 KLD 측면에서 거의 항상 더 좋습니다. 따라서 가능한 가장 높은 quant로 q4_0/q4_0을 선택하세요. 그런 다음 여유 공간이 있다면 KV quant를 늘리세요. 참고로 이것은 더 낮은 quants에 적용됩니다. 만약 q6에서 q8 모델 quant으로 넘어가는 경우라면, 모델 quant를 높이는 것보다 KV quant를 늘리는 것이 더 큰 이득일 수 있습니다. 왜냐하면 모델 quant를 올릴수록 이득이 점차 줄어들기 때문입니다. 또한 이것은 f16 KV로 실행해야 하는 Gemma와 같은 다른 모델에는 적용되지 않습니다. Bonsai 및 swift quants도 포함되지만, 이들은 파인튜닝(finetunes)이기 때문에 KLD를 계산하는 것이 의미가 없으며 KLD가 크게 다를 것입니다. /u/Fancy-Snow7 제출 [링크] [댓글]