ProVe: 제안자-검증자 디코딩

요약

ProVe는 기존의 추측적 디코딩(Speculative Decoding) 방식을 역전시킨 새로운 기법입니다. 큰 모델을 미래 토큰 블록을 예측하는 '제안자(proposer)'로, 작은 모델을 검증자로 활용하여 자기회귀 언어 모델의 속도를 높입니다. 이 방식은 별도의 초안 헤드 학습 없이도 높은 처리량과 정확도 사이에서 제어 가능한 트레이드오프를 제공합니다.

핵심 포인트

• ProVe는 Speculative Decoding의 역할을 역전시킨 디코딩 기법이다.
• 큰 모델을 '제안자', 작은 모델을 '검증자'로 활용한다.
• 별도의 초안 헤드 학습 없이도 높은 처리량(throughput)을 달성한다.
• 속도와 정확도 사이에서 제어 가능한 트레이드오프를 제공한다.