Speculative Decoding 최적화: 압축 인식 감마 선택을 통한 적응형 SpecKV

추측적 디코딩 (Speculative Decoding) 은 작은 드래프트 모델 (draft model) 을 사용하여 더 큰 타겟 모델이 검증하는 후보 토큰들을 제안함으로써 대형 언어 모델 (LLM) 추론 속도를 가속화합니다. 이 과정에서 중요한 하이퍼파라미터는 speculation length~$γ$로, 한 단계당 드래프트 모델이 제안하는 토큰 수를 결정합니다. 거의 모든 기존 시스템은 고정된~$γ$ (보통4) 을 사용하지만, 실증적 증거는 최적값이 작업 유형에 따라 다르며, 특히 타겟 모델에 적용되는 압축 수준에 의존함을 시사합니다. 본 논문에서는 드래프트 모델 자체에서 추출한 신호를 사용하여 각 추측 단계마다$γ$를 선택하는 경량 적응형 컨트롤러인 extbf{SpecKV} 를 제시합니다. 우리는 4 가지 작업 카테고리, 4 가지 speculation length, 3 가지 압축 수준 (FP16, INT8, NF4) 을 대상으로 추측적 디코딩을 프로파일링하여, 단계별 수용률 (per-step acceptance rates), 드래프트 엔트로피 (draft entropy), 드래프트 신뢰도 (draft confidence) 를 포함한 5,112 개의 단계 수준 기록을 수집했습니다. 우리는 최적~$γ$ 가 압축 regime 를 따라 이동하며, 드래프트 모델의 신뢰도와 엔트로피가 수용률의 강력한 예측 변수임을 증명했습니다 (상관 계수~$
ho \ ext{approx} 0.56$). SpecKV 는 이러한 신호를 기반으로 훈련된 작은 MLP 를 사용하여 한 단계당 예상 토큰 수를 최대화하며, 고정-$γ$=4 기준 대비 56.0% 의 개선 효과를 달성했습니다 (의사 결정마다 0.34ms 오버헤드, 단계 시간의 <0.5%). 이 개선은 통계적으로 유의미함 ($p < 0.001$, paired bootstrap test). 우리는 모든 프로파일링 데이터, 훈련된 모델, 노트북을 오픈소스 아티팩트로 공개합니다.