VIA-SD: 추측 디코딩을 위한 모델 내부 라우팅 기반 검증

요약

본 논문은 추측 디코딩(Speculative Decoding, SD)의 효율성을 높이기 위해 모델 내부 라우팅을 활용한 새로운 검증 방식을 제안합니다. VIA-SD는 토큰의 신뢰도에 따라 직접 수용, 슬림 서브모델 재생성, 전체 모델 검증 등 다단계 처리를 수행하여 LLM 추론 비용을 획기적으로 줄입니다.

핵심 포인트

• VIA-SD는 내부 라우팅 기반으로 검증 과정을 최적화합니다.
• 토큰 신뢰도에 따라 계층적인 처리 방식을 적용합니다.
• 강력한 SD 기준선 대비 10~20%의 속도 향상을 제공합니다.
• 기존 SD 프레임워크와 호환되어 확장성이 높습니다.