SOD: 소형 언어 모델 에이전트를 위한 단계별 온정책 증류 (Step-wise On-policy Distillation for Small

요약

소형 언어 모델에 도구 통합 추론(TIR)을 적용하는 것은 어려운데, 기존의 강화학습 방법들은 보상 신호가 희소하여 한계가 있습니다. 최근 주목받는 온정책 증류(OPD) 기법도 TIR에 적용할 경우, 잘못된 도구 호출이 연쇄적인 오류를 일으켜 학생-교사 발산을 야기하고 교사의 지도 효과를 무력화하는 치명적인 실패 모드를 보입니다.

핵심 포인트

• 소형 언어 모델의 도구 통합 추론(TIR)은 장기 상호작용 및 모델 용량 문제로 인해 확장성이 낮다.
• 전통적인 강화학습 방법(예: 그룹 상대 정책 최적화)은 보상 신호가 희소하여 효율적이지 않다.
• 온정책 증류(OPD)는 토큰 수준의 밀도 높은 지도를 제공하지만, TIR 환경에서는 잘못된 도구 호출로 인해 연쇄적인 오류를 일으키는 치명적인 실패 모드를 보인다.
• 이러한 실패 모드는 학생-교사 발산을 점진적으로 증폭시켜 교사의 지도 효과를 무력화시킨다.