On-policy distillation: PapersWithCode에서 가장 뜨거운 용어 중 하나

요약

PapersWithCode에서 주목받는 최신 AI 연구 기술인 On-policy distillation(OPD)을 소개합니다. OPD는 모델의 롤아웃 과정 중 발생하는 특정 오류를 정밀하게 억제하기 위해 힌트 토큰을 활용하는 사후 학습 기술입니다.

핵심 포인트

• OPD는 Qwen, GLM, DeepSeek 등 최신 모델의 핵심 사후 학습 기술임
• 최종 보상의 노이즈를 줄이기 위해 궤적 내 특정 오류 지점을 타겟팅함
• 힌트 토큰을 삽입하여 모델이 오류 토큰의 확률을 낮추도록 학습함
• 새로운 디코딩 없이 순전파만으로 효율적인 학습이 가능함