탈선 시 되돌아가기: LLM 추론 증류(Reasoning Distillation)에서의 이중 노출 편향(Dual Exposure Biases)

요약

LLM 추론 증류 과정에서 발생하는 오프-폴리시의 노출 편향과 온-폴리시의 역방향 노출 편향이라는 '이중 노출 편향' 문제를 분석합니다. 이를 해결하기 위해 학생 모델의 생성 과정을 모니터링하다가 오류 발생 시 안전한 지점으로 되돌아가 교사의 가이드를 받는 MOTAB 파이프라인을 제안합니다. 실험 결과, MOTAB는 추론 작업에서 평균 약 3%의 성능 향상을 달성하며 이중 편향 문제를 효과적으로 완화했습니다.

핵심 포인트

• 기존 오프-폴리시 증류는 교사의 궤적만 사용하여 학생의 추론 문맥 불일치(노출 편향)를 유발함
• 온-폴리시 증류는 학생의 최적화되지 않은 문맥이 교사에게 영향을 주는 역방향 노출 편향을 초래함
• MOTAB는 적응형 안전 경계를 통해 학생의 생성을 모니터링하고 오류 시 백트래킹(Backtracking)을 수행함
• MOTAB는 LIMO-v2 및 AceReason 데이터셋 실험을 통해 약 3%의 성능 향상을 입증함