Speculative Decoding 최적화: 압축 인식 감마 선택을 통한 적응형 SpecKV

요약

본 논문은 LLM 추론 속도를 가속화하는 Speculative Decoding의 핵심 하이퍼파라미터인 speculation length($γ$)를 고정값 대신 동적으로 최적화하는 적응형 컨트롤러 $\text{SpecKV}$를 제안합니다. $\text{SpecKV}$는 드래프트 모델에서 추출한 신호(엔트로피, 신뢰도 등)를 활용하여 각 추측 단계마다 최적의 토큰 수를 결정하며, 이를 통해 고정된 Speculative Decoding 방식 대비 56.0%의 성능 향상을 달성했습니다.

핵심 포인트

• Speculative Decoding은 드래프트 모델을 이용해 LLM 추론 속도를 가속화하는 기술이다.
• 기존 시스템은 $\gamma$ (speculation length)를 고정하지만, 최적의 $\gamma$는 작업 유형과 타겟 모델의 압축 수준에 따라 달라진다.
• 제안된 $\text{SpecKV}$는 드래프트 모델의 엔트로피와 신뢰도 같은 신호를 기반으로 각 단계별 최적 토큰 수를 예측한다.
• $ ext{SpecKV}$를 적용한 결과, 고정-$\gamma$=4 방식 대비 56.0%라는 통계적으로 유의미한 속도 개선을 달성했다.