안녕하세요! 저희는 Unsloth의 GGUF가 7가지 다른 벤치마크 전반에 걸쳐 크기 대비 가장 높은 정확도를 유지하는 방식을 보여주는 새로운 DeepSeek-V4.1-1017 Dynamic V3.1 (미리 보기) GGUF를 출시합니다.
저희는 ISTA의 GSQ-RCO GGUF를 벤치마크했지만, 최고 점수를 사용했을 때조차 그들이 보고한 결과를 재현할 수 없었습니다. 가장 큰 불일치는 AIME25에서 발생했는데, 그들은 기준선 대비 100% 정확도 회복을 주장했으나 실제 벤치마크 테스트에서는 약 91.88%에 불과했습니다. AIME25, LiveCodeBench, GPQA Diamond, Aider Polyglot 등 여러 영역에서 Unsloth Dynamic V3.1은 거의 모든 지표에서 GSQ-RCO GGUF보다 우수합니다. 심지어 저희의 구 버전 v3조차도 ISTA보다 거의 모든 지표에서 더 나은 성능을 보입니다. 공정하고 신뢰할 수 있는 비교를 위해 각 벤치마크를 최소 3번 실행했고 (AIME25는 16번), 그 결과를 평균화했습니다. 더 많은 결과가 다음 주에 공개될 예정입니다! 모든 벤치마크 데이터, 방법론 및 결과는 저희 블로그에서 확인하실 수 있습니다.
별도로 KLD에 관해서는 이것이 정확도의 신뢰할 수 있는 측정인지에 대한 문의가 있었습니다. 양자화(quantization)의 주요 목표는 KLD를 최소화하는 것이지만 디스크 공간을 최소화하는 것도 포함합니다. KLD가 0이라면, 로짓(logits)이 완벽하게 모델링되었기 때문에 양자화된 모델이 16bit 모델과 같다는 것을 의미합니다. 저희 벤치마크는 여러 도메인(코딩, 에이전트 코딩, 채팅 등)에 걸친 KLD 및 top-1%에서 UDv3.1이 GSQ-RCO보다 모든 도메인에서 훨씬 더 우수함을 보여줍니다. 우리는 낮은 비트 양자화 모델이 비양자화된 모델보다 다소 오래 생각하는 경향이 있음을 보여주었으며, 이를 조사하여 양자화를 더욱 개선할 계획입니다. 하지만 여전히 추론 길이(reasoning length)에서도 GSQ-RCO보다 훨씬 앞서 있으며, 잘린 답변에 대한 플롯을 저희 블로그에 제공합니다. 이 모델은 128GB RAM/통합 메모리 장치 또는 engram 오프로딩을 통해 64GB RAM에서도 실행할 수 있습니다.
모든 세부 정보와 추가 벤치마크는 다음 블로그에서 확인할 수 있습니다: https://unsloth.ai/docs/models/deepseek-v4.1-flash GGUF 버전은 다음 링크에서 다운로드할 수 있습니다: https://huggingface.co/unsloth/DeepSeek-V4.1-Flash-1017-GGUF 또한 Unsloth Desktop에 브라우저 사용(Browser Use), 자동 압축(auto compaction), 완전히 새로운 TTS 파이프라인(음성 복제, 분리 등 포함), 샌드박싱(sandboxing), 백그라운드 사용자 정의 기능 등을 추가했습니다: https://github.com/unslothai/unsloth 모두 즐거운 할로윈 보내시길 바랍니다! 또한 아래의 숫자 표는 저희 블로그에서 더 많은 플롯과 데이터와 함께 설명되었습니다:
| Quant | Size GB | AIME25 | HMMT Feb26 | GPQA-D | MMLU-Pro | IFEval | LCB v6 (32K) | Avg of 6 | Aider pass@1 |
|---|
| UD-Q8_K_XL | 508.4 | 97.08 | 68.94 | 90.47 | 88.61 | 95.10 | 85.90 | 87.68 | - |
| UD-Q2_K_XL | 334.8 | 97.50 | 69.89 | 89.58 | 88.28 | 94.92 | 84.76 | 87.49 | - |
| UD-IQ2_XXS | 300.5 | 96.88 | 67.61 | 88.95 | 87.53 | 95.19 | 83.62 | 86.63 | 44.38 |
| UD-IQ1_M | 250.4 | 95.00 | 62.88 | 88.38 | 87.53 | 95.10 | 84.38 | 85.55 | 42.13 |
| UD-IQ1_S | 233.0 | 92.92 | 57.01 | 87.63 | 86.62 | 94.92 | 82.10 | 83.53 | 36.52 |
| GSQ-RCO IQ2_XS | 265.8 | 95.00 | 64.39 | 88.64 | 86.62 | 94.27 | 84.95 | 85.64 | 41.57 |
| GSQ-RCO IQ2_XXS | 248.8 | 95.21 | 57.95 | 85.80 | 86.53 | 93.72 | 82.86 | 83.68 | 36.52 |
| GSQ-RCO IQ1_M | 231.3 | 91.88 | 53.60 | 85.10 | 85.49 | 91.77 | 82.86 | 81.78 | 29.78 |
제출자: /u/danielhanchen [링크] [댓글]
