BlockPilot: 확산 기반 투기적 디코딩 (Diffusion-based Speculative Decoding)을 위한 인스턴스 적응형

요약

BlockPilot은 확산 기반 투기적 디코딩의 효율성을 높이기 위해 샘플별로 최적의 블록 크기를 예측하는 인스턴스 적응형 정책을 제안합니다. prefilling 단계의 표현을 활용해 최소한의 오버헤드로 추론 속도를 획기적으로 개선합니다.

핵심 포인트

• 고정된 블록 크기 대신 샘플마다 최적의 블록 크기를 결정하는 방식 제안
• prefilling 표현을 기반으로 한 경량화된 정책 학습 메커니즘 도입
• Qwen3-4B 모델에서 4.20배의 속도 향상 및 높은 수락 길이 달성
• 추가적인 오버헤드가 거의 없는 플러그 앤 플레이 방식의 기술