Qwen3.6-27B의 추측적 디코딩 (Speculative Decoding)은 더 무거운 양자화 (Quant) 모델에서 성능이 향상됩니다

요약

Qwen3.6-27B 모델을 대상으로 다양한 양자화 수준에 따른 추측적 디코딩(Speculative Decoding) 성능을 벤치마킹한 결과입니다. 양자화가 무거울수록 추측적 디코딩을 통한 속도 향상 이득이 더 커지는 경향을 확인했습니다.

핵심 포인트

• 양자화 수준이 높을수록(Q8 > Q6 > Q4) 추측적 디코딩의 속도 이득이 증가함
• nvfp4/SGLang 조합과 DFlash 알고리즘이 전반적으로 가장 빠른 성능을 보임
• MTP 방식은 전반적으로 견고한 성능을 유지하나, 특정 환경(llama.cpp UD-Q4)에서는 매우 느려질 수 있음
• 본 결과는 단일 하드웨어 및 특정 워크로드 조건에서의 상한선임을 유의해야 함