Draft-OPD, 초안 모델 (draft-model) 학습의 한계를 돌파하다

표준적인 추측 디코딩 (speculative decoding)은 정체됩니다.

오프라인 학습 (Offline training)은 초안 오류 (draft error)로부터 결코 배우지 못합니다...

Draft-OPD는 온폴리시 (on-policy) 방식으로 학습합니다.

거부된 토큰 (rejected tokens)을 재생하여 초안 모델이 자신의 실수로부터 학습하도록 합니다.

이를 통해 사고 모델 (thinking models)에서 손실 없는 (lossless) 5배 이상의 속도 향상을 달성합니다.