Qwen3.8 27B IQ3_XXS (10.18GiB) 대 Bonsai Ternary PQ2 (6.42GiB) 테스트 결과

원문 발행 2026. 09. 20. 00:12원문 언어 영어AI 한국어 번역r/LocalLLaMA 원문 보기

요약

본 테스트는 Qwen3.8의 양자화 모델(IQ3_XXS)과 Bonsai Ternary PQ2를 비교하며, 제한된 VRAM 환경에서 성능을 분석했습니다. 결과적으로 Qwen은 더 빠르고 적은 토큰을 사용했으며, 전반적인 효율성 면에서 우위를 보였습니다.

핵심 포인트

Qwen IQ3 모델이 Bonsai 대비 3.02배 빠르며, 출력 토큰도 3.10배 적게 사용했습니다.
파일 크기가 작다고 무조건 좋은 것은 아니며, 성능과 속도를 종합적으로 고려해야 합니다.
테스트는 과학적이지 않으며, 같은 하드웨어에서의 UI 생성 작업 비교에 국한됩니다.

새롭게 화제가 된 Qwen3.8의 양자화(quantisation)와, 제한적인 16GB VRAM에 적절한 컨텍스트를 유지하며 들어가는 가장 큰 양자 모델을 비교하는 작은 테스트를 진행했습니다. 그 결과는 흥미롭습니다. 물론, 파일 크기가 더 작은 쪽이 성능은 떨어집니다. 하지만 그 차이가 그리 크지는 않습니다. 불행하게도, 이는 Bonsai 모델에서 훨씬 더 많은 토큰을 사용하고 따라서 생성 시간이 훨씬 길어진다는 단점이 있습니다. 시각적으로는 IQ3_XXS 결과가 더 마음에 들지만, 직접 확인해 보시기 바랍니다. 이 테스트는 결코 과학적이지 않으며, 같은 하드웨어에서 직접 비교하기 위한 몇 가지 UI 생성 작업에 불과합니다. 또한, 저는 Bonsai 모델이 MTP를 지원하지 않는 것 같아서 llama.cpp로 MTP를 실행했지만, 그 결과 더 느려졌습니다.

Metric	Qwen IQ3	Bonsai PQ2
Tasks completed	4/4	4/4
Fixed assertions	20/20	20/20
Agent wall time	8:00	24:09
Output tokens	27,197	84,176
Weighted decode	83.59 tok/s	64.91 tok/s
Speculative acceptance	65.22%	N/A
MTP	39.76%	modified
N-gram Compactions	0	0
Length stops	0	1

전체 테스트를 통틀어, Qwen은 3.02배 더 빠르고 3.10배 적은 출력 토큰을 사용했습니다.

결과: https://danmoreng.github.io/qwen3-8-27b-iq3-xxs-vs-bonsai/
Repo: https://github.com/Danmoreng/qwen3-8-27b-iq3-xxs-vs-bonsai
제출자: /u/Danmoreng [링크] [댓글]

AI 자동 생성 콘텐츠

원문 바로가기