UniVer: 다단계 및 다 드래프트 추측 해독에 대한 통합적 관점

요약

UniVer는 조건부 최적 전송(Conditional Optimal Transport, COT) 문제를 활용하여 대형 언어 모델의 추측 해독(Speculative Decoding) 과정을 통합적으로 형식화하는 새로운 방법을 제안합니다. 기존 방식들이 다단계 및 다 드래프트 측면을 분리하여 처리했던 한계를 극복하고, 수직 의존성을 접두어 확률로 추상화하여 수평 드래프트 선택에 능동적으로 활용합니다. 이를 통해 UniVer는 트리 레벨 전체를 함께 최적화하는 검증 알고리즘을 구현하며, 기존 방식 대비 높은 효율성 개선과 정확도 유지라는 이점을 입증했습니다.

핵심 포인트

• UniVer는 조건부 OT 문제를 사용하여 Speculative Decoding의 다단계 및 다 드래프트 측면을 통합적으로 모델링합니다.
• 수직 의존성은 접두어 수용 확률로 추상화되어, 수평 드래프트 선택에 동적 스케일링 인자로 활용됩니다.
• 제안된 알고리즘은 트리 레벨 전체를 함께 최적화하는 검증 계획을 구성하여 효율성을 극대화합니다.
• 실험 결과, UniVer는 표준 재귀 거부 표본 추출 대비 4.2%에서 8.5%의 수용 길이 개선을 달성하며 정확도를 유지했습니다.