On-Policy Distillation에서의 KL Agreement Trap 탈출하기

요약

On-policy distillation(OPD) 과정에서 학생 모델이 잘못된 경로로 빠졌을 때 교사 모델과 잘못 일치하게 되는 'low-KL agreement trap' 현상을 분석했습니다. 이를 해결하기 위해 동적 임계값을 사용하여 유효하지 않은 학습 신호를 차단하는 KAT 알고리즘을 제안합니다.

핵심 포인트

• low-KL agreement trap: 학생 모델의 오류에 교사 모델이 동조하는 현상
• KAT(KL Agreement Trap Termination) 알고리즘 제안
• 수학적 벤치마크에서 avg@k 2.66%, pass@k 3.43% 성능 향상
• 평균 롤아웃 길이를 59.73% 감소시켜 학습 효율성 증대