Gemma 4 및 Qwen 3.6 GGUF 모델 최적화 벤치마크 분석

요약

본 게시물은 Gemma 4 26B-A4B 및 Qwen 3.6 등 대규모 언어 모델(LLM)의 다양한 양자화(Quantization) 버전에 대한 KL Divergence (KLD) 벤치마크 결과를 공유합니다. 핵심 내용은 Unsloth에서 제공하는 GGUF 버전이 전반적인 성능과 정확도 측면에서 우수하다는 점입니다. 특히, Unsloth GGUF가 21개 크기 중 22개에 걸쳐 최고 성능을 보였으며, 새로운 UD-IQ4_NL_XL 및 MLX 최적화 버전을 제공하여 사용자에게 더 높은 정확도와 효율성을 제공합니다.

핵심 포인트

• Unsloth의 GGUF 버전은 KL Divergence 벤치마크에서 전반적으로 최고 성능을 보여, 양자화된 모델이 원본 BF16 출력 분포를 잘 유지함을 입증했습니다.
• 새롭게 도입된 UD-IQ4_NL_XL 양자화는 약 14.6GB의 크기로 16GB VRAM 환경에 적합하며, 기존 버전들 사이에서 균형 잡힌 선택지를 제공합니다.
• MLX 최적화 버전을 통해 Perplexity가 개선되었으며, UD-4bit (New) 대비 Mean KLD는 0.0177에서 0.0163으로 감소하여 정확도가 향상되었습니다.
• Gemma 4 및 Qwen 3.6 모델의 최적화된 GGUF 파일은 Hugging Face를 통해 제공되며, 사용자는 이를 다운로드하여 로컬 환경에서 테스트할 수 있습니다.