Gemma 4 및 Qwen 3.6 GGUF 모델 최적화 벤치마크 분석

최근 대규모 언어 모델(LLM)을 로컬 환경에서 구동하기 위한 양자화(Quantization) 기술이 발전하면서, 어떤 버전의 모델 파일이 가장 높은 정확도와 효율성을 제공하는지가 중요한 이슈가 되고 있습니다. 본 자료는 Gemma 4 26B-A4B 및 Qwen 3.6과 같은 최신 LLM을 대상으로 KL Divergence (KLD) 벤치마크를 수행하고 그 결과를 공유합니다.

1. GGUF 양자화 성능 분석: Unsloth의 우위성

KL Divergence는 양자화된 모델이 원본 고정밀도(BF16) 출력 분포와 얼마나 유사한지 측정하는 지표로, 곧 '유지된 정확도'를 의미합니다. 벤치마크 결과에 따르면, Unsloth에서 제공하는 GGUF 버전들이 전반적으로 Pareto frontier 근처의 성능을 보여주며 가장 우수한 결과를 나타냈습니다.

• 최고 성능 지표: Unsloth는 총 22개 크기 중 21개에 걸쳐 최고 성능을 기록했습니다. 이는 모델의 양자화 과정에서 발생하는 정보 손실이 최소화되었음을 의미합니다.
• 업데이트된 Quant: 기존에 최적화되어 있던 Q6_K 등의 양자화 버전도 더 동적인(dynamic) 방식으로 업데이트되었습니다. 비록 이전 버전도 충분히 좋았지만, 이번 업데이트는 미세하게나마 성능을 개선했습니다.
• 새로운 모델 크기 제공: 16GB VRAM 환경에 적합한 새로운 UD-IQ4_NL_XL 양자화 버전을 도입했습니다 (크기: 14.6GB). 이 버전은 기존의 UD-IQ4_XS (13.4GB)와 UD-Q4_K_S (16.4GB) 사이에 위치하여, 메모리 제약과 성능 사이에서 균형을 찾고자 하는 사용자에게 유용한 선택지를 제공합니다.

2. MLX 최적화 및 정확도 개선

MLX 프레임워크를 사용한 양자화 버전 역시 업데이트되었습니다. 이번에는 더 나은 레이어링(layering) 선택 방식을 적용하여 성능을 끌어올렸습니다 (다만, MLX의 기술적 한계로 인해 일부 제약이 존재합니다).

Metric	UD-4bit (Old)	UD-4bit (New)	MLX 4.4bit MSQ
Perplexity	4.772	4.766	4.864
Mean KLD	0.0177	0.0163	0.0878
99.9% KLD	0.8901	0.8398	2.9597

• 핵심 변화: 새로운 UD-4bit 버전은 Perplexity를 개선하고, Mean KLD와 99.9% KLD 값을 현저히 낮추어 정확도 측면에서 가장 우수한 결과를 보여주었습니다.

결론 및 활용 가이드라인

사용자는 Gemma 4 GGUF 모델과 Qwen 3.6 GGUF 모델을 Hugging Face를 통해 다운로드할 수 있습니다. 본 벤치마크 결과는 로컬 환경에서 최고의 성능을 내는 양자화 버전을 선택하는 데 중요한 가이드라인이 될 것입니다. 특히, KL Divergence 값이 낮고 Perplexity가 낮은 버전을 선택하는 것이 가장 이상적입니다.