DRY 샘플러가 추측적 디코딩 (Speculative Decoding)을 아예 사용하지 않을 때보다 더 느리게 만들 수 있음 — Gemma 4

요약

Gemma 4 31B 모델에서 MTP(Multi-Token Prediction) 어시스턴트 헤드를 사용할 때, DRY 샘플러가 추측적 디코딩의 수락률을 낮추어 오히려 전체 처리량을 저하시킬 수 있음을 실험적으로 증명했습니다.

핵심 포인트

• DRY 샘플러 적용 시 MTP 수락률이 0.74에서 0.62로 하락
• 특정 작업 부하에서 MTP 미사용 기준치보다 낮은 처리량 발생
• DRY의 반복 페널티가 초안 수락에 유리한 패턴을 방해함
• 온도(Temperature) 조절은 처리량 손실 없이 수락률을 높일 수 있음