D3D: 비동기 추측 디코딩을 위한 분리형 확산 드래프팅

요약

기존 확산 드래프터는 블록 간 의존성으로 인해 속도 향상에 제한이 있었습니다. D3D는 이러한 상호 라운드 의존성을 제거한 독립형 드래프터를 제안하며, 블록별 디노이징과 보조적 자기회귀 감독을 결합했습니다. 이를 통해 비동기 추측 디코딩(asynchronous speculative decoding)을 가능하게 했으며, Qwen3-8B 및 Qwen3-32B 타겟에서 평균 5배 이상의 속도 향상을 달성했습니다.

핵심 포인트

• D3D는 상호 라운드 의존성을 제거한 독립형 확산 드래프터입니다.
• 블록별 디노이징과 보조적 자기회귀 감독을 결합하여 작동합니다.
• 비동기 추측 디코딩(asynchronous speculative decoding)을 가능하게 합니다.
• Qwen3-8B/Qwen3-32B 타겟에서 평균 5배 이상의 디코딩 속도 향상을 보였습니다.