적응형 다중 토큰 예측: 얼마나 멀리까지 가야 할까?

요약

본 논문은 다중 토큰 예측(MTP)의 한계점인 고정된 추측 지평 문제를 해결하기 위해 적응형 다중 토큰 예측(AMTP)을 제안합니다. AMTP는 온라인 제어 문제로 지평 선택을 공식화하고, 수용 생존율을 통해 최적의 초안 길이를 동적으로 결정하여 디코딩 속도를 높입니다. 실험 결과, Llama-3.1-8B-Instruct 등 다양한 모델에서 AMTP가 표준 디코딩 대비 최대 4.1배 빠른 성능과 높은 처리량 증가를 보였습니다.

핵심 포인트

• AMTP는 온라인 제어 문제로 지평 선택을 공식화하여 동적 예측이 가능합니다.
• 수용 생존율(acceptance survival)을 통해 초안의 신뢰도를 측정하고 최적 지평을 결정합니다.
• 표준 디코딩 대비 최대 4.1배 빠른 속도와 높은 처리량 증가를 입증했습니다.
• 온라인 경사 하강법을 사용하여 후회(regret)가 준선형임을 이론적으로 증명했습니다.