vLLM 및 SGLang 환경에서 Qwen3.6-27B 모델을 대상으로 한 모든 Speculative Decoding (Spec-decode)

요약

vLLM과 SGLang 환경에서 Qwen3.6-27B 모델을 대상으로 다양한 Speculative Decoding 기법의 성능을 비교 분석했습니다. 실험 결과 DFlash 방식이 가장 압도적인 속도 향상을 보였으며, EAGLE3와 MTP 등 각 기법별 특이점을 확인했습니다.

핵심 포인트

• DFlash 방식이 SGLang에서 약 3.3배, vLLM에서 2.5배의 가장 높은 속도 향상을 기록함
• MTP/NEXTN은 초안 깊이가 깊어질수록 성능이 상승하는 경향을 보임
• EAGLE3는 특정 조건(K=3) 이후 성능이 평탄해지는 특성을 보임
• NVFP4 양자화 모델 사용 시 DFlash 샘플러의 shape 충돌 문제를 패치로 해결함