양자화(Quantizing)가 MTP 초안 생성률(Draft Rate)을 변화시키는가?

Speculative decoding (추측적 디코딩)은 작은 "drafter (초안 작성)" 모델을 사용하여 메인 모델보다 몇 개의 토큰을 앞서 예측함으로써 LLM 생성 속도를 높입니다. 그런 다음 메인 모델은 단 한 번의 forward pass (순전파)를 통해 이러한 예측들을 검증합니다. 만약 메인 모델이 심하게 양자화(quantized, 저비트 레이트)되어 있다면, drafter와의 "일관성 (consistency)"이 떨어져 수락률 (acceptance rate)이 낮아지게 됩니다.

사용된 모델:

Trunk: Gemma 4-31B-it (양자화된 GGUFs)
Draft: Gemma 4-31B-it-assistant (MTP drafter)

양자화 수준에 따른 수락률은 초안 깊이 (draft depths, n)의 함수로 테스트되었으며, 3회 반복(5개의 혼합 코딩/추론 프롬프트 × 200 토큰, temperature=0.3, thinking off, 반복당 서로 다른 시드)에 대한 평균 ± 1σ로 보고되었습니다:

양자화 n=1 n=2 n=3 n=4

Q5_K_S 88.5 ±1.0% 81.9 ±0.3% 74.2 ±0.9% 66.7 ±0.5%
IQ4_XS 86.7 ±0.1% 80.3 ±0.9% 72.3 ±0.5% 65.2 ±0.9%
IQ3_M 86.8 ±0.9% 78.3 ±0.2% 71.7 ±1.6% 65.0 ±2.0%
IQ2_M 84.5 ±0.5% 76.7 ±2.5% 69.3 ±1.5% 61.2 ±2.0%

시사점 (Takeaways). 모든 양자화 수준에서 초안 깊이가 증가함에 따라 수락률이 감소합니다. Q5_K_S가 가장 높은 충실도 (fidelity)를 제공하지만, IQ4_XS와 IQ3_M은 거의 동일하게 작동하며, 심지어 2비트인 IQ2_M조차 단일 토큰 초안에 대해서는 높은 수락률을 유지합니다. 이러한 초안 수준과 관련된 속도 향상은 하드웨어 및 아키텍처에 크게 의존합니다. 가장 큰 이득은 CUDA 장치에서 n=2를 사용할 때 발생하며, Apple Metal은 n=1에서만 미미한 이득을 얻습니다.

직접 시도해 보세요: 가중치를 다운로드하세요. IQ2_M으로 31B trunk를 실행하려면 약 12 GB의 메모리만 있으면 됩니다. 또는 시각 기능(vision capabilities)과 MTP 지원을 포함하여 Q5_K_S를 실행하려면 약 24 GB가 필요합니다.

lama-server를 통해 실행:
llama-server -hf pearsonkyle/gemma4-31b-imatrix-mtp-GGUF:IQ4_XS \ --spec-type draft-mtp --spec-draft-n-max 2
제출자: /u/professormunchies
[link] [comments]