모든 검증된 토큰을 활용하는 방법: MoE 스펠루세티브 디코딩을 위한 적응형 검증

요약

EVICT는 희소 혼합 전문가(MoE) 모델을 위한 적응형 검증 기법으로, 기존 트리 기반 스펠루세티브 디코딩의 높은 계산 비용 문제를 해결합니다. EVICT는 드래프트 트리를 효율적으로 절단하여 필수적인 접두사만 유지하고, 모든 검증된 토큰이 세분화된 신호를 활용해 후보를 평가함으로써 자원 낭비를 줄입니다. 이 방법은 MoE 백본과 결합되어 자기회귀 디코딩 대비 최대 2.35배의 속도 향상을 달성하며, 기존 최첨단 기법보다도 우수한 성능을 보여줍니다.

핵심 포인트

• MoE 모델에서 스펠루세티브 디코딩 시 발생하는 높은 검증 비용 문제를 해결하는 적응형 방법론(EVICT)을 제안했습니다.
• EVICT는 훈련이나 하이퍼파라미터 조정 없이, 드래프트 트리를 절단하여 필수적인 접두사만 유지함으로써 효율성을 높입니다.
• 모든 검증된 토큰의 세분화된 신호를 활용해 후보를 평가하고, 이를 오프라인 프로파일링된 비용과 결합합니다.
• 실험 결과, EVICT는 자기회귀 디코딩 대비 최대 2.35배의 속도 향상을 달성하며, 기존 최첨단 기법보다 우수한 성능을 보였습니다.