QUASAR 4비트 QAT 체크포인트: Qwen3.5, Gemma 4 및 Muse Glimmer에 대한 내용 (Google 및 NVIDIA의

2개월 전 저희는 QUASAR로 학습된 완전 양자화 NVFP4 Qwen3.8-27B를 공개했습니다. 이후 다른 여러 최신 모델들, 즉 Qwen3.5-4B, Gemma 4 E4B 및 12B, 그리고 Muse Glimmer 30B에 대한 QUASAR 체크포인트를 NVFP4로 vLLM용으로, 그리고 llama.cpp / Ollama / LM Studio용으로 Q4_0 GGUF 형식으로 학습했습니다. 코드와 프로젝트 페이지도 이제 공개되었습니다. 모든 체크포인트는 양자화 인식 증류(quantization-aware distillation)를 통해 학습되었는데, 원래의 BF16 모델이 교사(teacher)이며, 양자화된 모델은 교사의 응답을 통해 증류(healing)됩니다. 내보내기 형식은 표준 형식이므로 사용자 정의 커널 및/또는 변환 단계가 필요하지 않습니다.

KL 값 (제외된 프롬프트에 대한 BF16 모델 대비, 낮을수록 좋음):

벤치마크 결과:

• Muse Glimmer 30B NVFP4: GPQA-Diamond에서 BF16 대비 동등하거나 그 이상의 성능(63.6 vs 62.1), MMLU-Pro (83.3 vs 83.1) 및 AIME'25 (90.0 vs 86.7)를 달성했으며, RULER에서 32K, 64K, 128K 모두 BF16 성능을 보이는 유일한 4비트 빌드입니다.
• Qwen3.5-4B NVFP4: 테스트한 4비트 빌드 중 AIME'25 (74.2) 및 GPQA-Diamond (77.9)에서 최고 성능을 기록했습니다.
• Gemma 4 E4B / 12B: 실행한 모든 다운스트림 벤치마크에서 Google의 QAT보다 높은 성능을 보였습니다. H100 환경에서는 E4B가 배치 처리량(batched throughput)도 +36% 높습니다 (group-64 quant는 vLLM의 Machete 커널, 더 빠른 것을 사용).
• Qwen3.8-27B NVFP4: 모든 496개의 선형 레이어에서 NVFP4(W4A4)를 사용했으며, GPQA-Diamond에서 90.9 vs 91.4 BF16 대비 성능을 보였고, 메모리 사용량은 19.7 GB입니다.

실행하기: vllm serve QUASAR-QAT/Qwen3.5-4B-QUASAR-NVFP4 --max-model-len 262144 --reasoning-parser qwen3 ollama run hf.co/QUASAR-QAT/gemma-4-12B-it-QUASAR-Q4_0-GGUF 컬렉션: https://huggingface.co/collections/QUASAR-QAT/all-quasar-models-6aab09fd2913ec22df0d5f15 논문: https://arxiv.org/abs/2608.13966 코드: https://github.com/vincentcounathe/quasar-qat 프로젝트 페이지: https://quasar-qat.github.io/ 이러한 체크포인트에 대한 여러분의 피드백을 기다립니다! 제출자 /u/Mindless_Ad_407 [링크] [댓글]