요약

본 논문은 언어 모델이 온정책(on-policy) 궤적을 따라 진행하며 특권적인 교사 분포를 증류하는 '온정책 자체 증류(OPSD)' 기법을 연구합니다. 기존 OPSD는 교사와 학생 응답 간의 불일치 문제, 특히 반성 유발 편향이나 응답 템플릿으로 인한 오류가 발생할 수 있음을 지적했습니다. 이를 해결하기 위해, 본 연구는 검증 가능한 결과 보상을 활용하여 성공 및 실패 궤적을 대조하고 교사 로짓을 보정하는 '결과 기반 로짓 조향(Outcome-based Logit Steering)' 프레임워크인 OGLS-SD를 제안합니다. OGLS-SD는 결과 수준의 정확성과 토큰 수준의 지도를 결합하여 자체 증류 과정을 안정화하고 추론 성능을 향상시킵니다.

핵심 포인트

• 온정책 자체 증류(OPSD)는 언어 모델의 추론 능력 향상을 위한 방법이지만, 교사 응답과 학생 응답 간의 불일치 문제가 존재한다.
• 기존 OPSD 방식은 반성 유발 편향이나 템플릿 효과로 인해 잘못된 토큰 수준 지도를 초래할 위험이 있다.
• 제안하는 OGLS-SD는 검증 가능한 결과 보상(verifiable outcome rewards)을 활용하여 성공/실패 궤적을 대조한다.
• OGLS-SD는 결과 수준의 정확성(outcome-level correctness)과 로짓 조향을 결합함으로써 자체 증류를 안정화하고 성능을 향상시킨다.