능력 있는 교사(Capable Teacher), 근시적인 채점자(Myopic Scorer): 에이전트 기반 온-정책 증류를 위한 보상 없는

요약

본 논문은 에이전트 기반 온-정책 증류(OPD)의 한계로, 교사가 각 토큰에 점수를 매기는 '근시성' 문제를 지적합니다. 이를 해결하기 위해 '롤아웃-투-스코어러 증류(R2S)'를 제안하며, 미훈련된 학생으로부터 높은 불일치 상태를 채굴하여 스코어러를 복구하고 교사를 미세 조정하는 방법을 제시했습니다.

핵심 포인트

• OPD의 문제점: 교사의 토큰별 점수 부여는 안전한 움직임을 간과함 (근시성).
• 핵심 개념: '롤아웃-채점자 격차(rollout-scorer gap)'를 정의하고 이를 해결하는 데 초점을 맞춤.
• 제안 방법: R2S는 불일치 상태 채굴을 통해 스코어러를 복구하고 교사를 미세 조정함.
• 성능 입증: 다양한 환경에서 기존 SOTA 대비 평균 12.8점 향상된 성능을 보임.