r/LocalLLaMA 여러분 안녕하세요! Qwen3.8-27B를 위한 새로운 Unsloth Dynamic v3.1 GGUFs를 출시합니다! 이 버전은 DeepSWE, Terminal Bench 등에서 UD3, GSQ-RCO, Exllama-3 대비 정확도가 510% 향상되었습니다! 또한 저희는 알고리즘을 더욱 개선하여 Qwen4에도 적용할 수 있도록 하고 있으며, 이를 통해 사용자들이 효율적이고 정확한 양자화(quant) 모델을 사용할 수 있게 할 것입니다! 2비트부터 6비트까지의 모든 양자화 모델이 업데이트되었습니다. 다만, UD3와 동등하다고 판단되어 3비트는 제외했습니다. 하지만 다른 모든 양자화 크기에 대해서는 계속 개선하고 있습니다! 모든 벤치마크는 에이전트 기반(agentic) 테스트(DeepSWE, Terminal Bench)의 경우 256K를 사용했으며, 나머지는 (LiveCodeBench 등) 128K를 사용했습니다. 저희는 temperature 1.0, top_p 0.95, top_k 20, min_p 0, presence 또는 repetition penalty 없음, preserve_thinking 및 xhigh reasoning 설정을 사용했습니다. LiveCodeBench의 경우 6회, HMMT 등 다른 테스트는 816회, 그리고 에이전트 기반 벤치마크는 여러 번 실행했습니다.
GSQ-RCO와 Exllama-v3를 비교하는 다른 벤치마크의 경우: Exllama-v3가 토큰 임베딩 레이어에 BF16을 사용하기 때문에, x축에서 해당 임베딩 레이어를 제외해야 했습니다. 만약 Exllama-v3의 전체 다운로드 크기와 총 RAM 사용량을 고려한다면, BF16 임베딩 테이블을 추가하고 모든 임베딩 크기를 포함하는 것이 그래프를 변경시킵니다. 저희 주요 그래프의 x축은 모든 양자화 제공업체의 임베딩 레이어 크기를 제거했습니다. 하지만 순수 RAM 사용량 및 디스크 공간 사용량 대 정확도 측면에서는 exllama3가 성능이 떨어집니다.
LiveCodeBench의 경우, GSQ-RCO는 Unsloth UD3 양자화 모델들이 ISTA보다 일관되게 낮은 성능을 보인 것으로 나타났습니다. 하지만 저희는 그 반대를 발견했습니다. 즉, UD3 양자화 모델(저희의 이전 모델)이 가장 작은 크기를 제외한 모든 크기에서 LCB에서 ISTA보다 더 나은 성능을 보였습니다. UD3.1 역시 LCB에서 더욱 개선되었습니다. 저희는 GSQ-RCO가 사용한 컨텍스트 예산(context budget)이 96K였을 것으로 추정하는데, 이는 우리가 진행한 테스트 데이터에 가장 잘 맞기 때문입니다. 96K에서는 GSQ-RCO가 UD3보다 어느 정도 나은 성능을 보이지만, 128K에서는 UD3가 훨씬 더 좋은 성능을 보였습니다.
또 다른 벤치마크인 ISTA의 GSQ-RCO AIME25 벤치마크에서, 그들의 양자화 모델들은 100%, 100%, 100% 및 96.7%의 정확도 복구율을 달성했습니다. 그리고 그들은 저희의 양자화 모델들이 더 나쁘다고 말했습니다.
저희의 조사에 따르면, ISTA는 단지 1회의 테스트만 진행한 반면, 저희는 14회의 테스트를 진행했으며, 평균 복구율은 93%에서 96%로 나타나 100% 정확도 회복을 보여주지는 않습니다. 실제로 저희의 UD3 구형 양자화(quants)가 상대방의 양자화 결과보다 평균적으로 더 나은 성능을 보입니다 (저희가 14회 실행한 것과 비교하여 상대방이 1회 실행한 경우 대비). 따라서 테스트를 더 많이 진행할수록 저희는 정반대의 결론을 내립니다. 자세한 내용 및 벤치마크는 https://unsloth.ai/docs/models/qwen3.8#dynamic-v3.1-update-november-11th-2026 에서 확인하실 수 있습니다. 모든 양자화(quants)는 https://huggingface.co/unsloth/Qwen3.8-27B-GGUF 에 업데이트되었습니다! 감사합니다. 좋은 하루 보내세요! 저희는 Qwen4에 대해 매우 기대하고 있습니다! submitted by /u/danielhanchen [link] [comments]
