Draft-OPD, 초안 모델 (draft-model) 학습의 한계를 돌파하다

요약

Draft-OPD는 기존 오프라인 학습 방식의 한계를 극복하기 위해 온폴리시(on-policy) 학습 방식을 도입했습니다. 거부된 토큰을 재생하여 초안 모델이 스스로의 오류로부터 학습하게 함으로써 추측 디코딩의 효율을 극대화합니다.

핵심 포인트

• 온폴리시 학습을 통한 초안 모델의 오류 교정
• 거부된 토큰 재생을 통한 학습 데이터 활용
• 사고 모델에서 5배 이상의 속도 향상 달성
• 기존 오프라인 학습의 한계인 초안 오류 문제 해결