안녕하세요! Qwen 3.8 Flash Next 전용 Blackwell 추론 엔진인 Basalt에 대한 간단한 업데이트를 공유하고 싶습니다. 평소에는 속도가 주요 내용이지만, 이번 포스팅에서는 최근 품질에 대한 많은 논의들을 읽어보았고, 대부분의 사람들의 핵심 결론(저도 동의합니다)은 "모델이 충분히 똑똑하지 않으면 속도는 아무 의미가 없다"는 것이었습니다. 그래서 이번에는 품질을 중심으로 다루고자 하며, 모든 새로운 측정값들은 전체 정밀도 모델을 기준으로 실행되었습니다 (BF16 가중치를 llama.cpp를 사용하여 제공). 아래의 모든 수치는 Unsloth의 BF16 GGUF와 basalt-bench --quality 를 사용해 점수화되었으며, llama.cpp가 참조(reference) PPL 3.2749를 사용했습니다.
이전 기준은 llama.cpp Q8이었는데, 재미있게도 자체 오류 때문에 상황이 더 나쁘게 보였습니다:
pack KLD 동일 상위-1 llama.cpp Q8 0.0325 93.98% Basalt Q8 0.0200 95.34% (이 테스트에서 llama보다 높음) NVFP4-DQ8 (신규) 0.0561 92.25% NVFP4-DQ6_K 0.0624 91.65% GSQ-RCO IQ3_S 0.1497 87.56%
솔직히 말하자면, 각 엔진은 자체 도구로 측정되었기 때문에 완벽한 비교는 아니지만, 여전히 좋은 참고 자료입니다. 새로운 DQ8 빌드 버전이 나왔습니다. 약간의 추가 품질을 원하고 속도 저하를 감수할 의향이 있는 분들을 위해 Qwen3.8-FN-NVFP4-DQ8은 기본값인 -DQ6_K 옆에 HF(Hugging Face)에서 제공됩니다: KLD 0.0561 대 0.0624로, prose 성능은 약 7% 느립니다. 손실이 발생하는 기능(lossy flag)은 기본적으로 활성화되어 있지 않습니다.
Basalt는 커뮤니티의 요청으로 인해 정확도를 떨어뜨릴 수 있는 특정 "꼼수(hacks)\
현재 메인에서 NVFP4-DQ6_K 양자화(quant)를 사용하여: 테스트 실행 1 (tok/s) 실행 2 (tok/s) struct 603.7 594.2 conv 363.8 321.9 prose 295.0 299.9 prefill 16K 7432 8159 prefill 64K 10221 10229 지난주 대비, prose는 277에서 약 300으로, struct는 558에서 약 600으로 향상되었습니다. 이는 더 빠른 초안 단계(draft step), 더 빠른 출력 헤드(output head), 그리고 시작 시 개선된 전문가 배치(expert placement) 덕분입니다. .basalt 포맷은 현재 버전 2이며, 이전과 동일한 가중치(weights)와 품질을 가지지만 시작 속도가 약간 더 빠릅니다. 구형 basalt 파일은 다시 다운로드하는 대신 마이그레이션 도구(migration tool)를 사용할 수 있습니다. 또한 이 게시물을 마무리하며 PR을 하나, 두 개 또는 열 개 기여해 주신 모든 분들께, 이슈/피드백/커뮤니티 벤치마크를 공유해 주신 모든 분들께, 혹은 단순히 다른 사람에게 프로젝트를 공유해 주신 모든 분들께, Github 저장소에 500개의 스타와 압도적으로 좋은 피드백을 보내주신 모든 분들께 거대한 감사의 말씀을 전하고 싶습니다. 여러분은 정말 대단합니다. 제출자: /u/jesdga95 [링크] [댓글]
