양방향 KL 제약 조건 기반의 소형 언어 모델(SLM)을 위한 교사 안내 도구 학습

외부 도구는 소형 언어 모델(SLMs)의 기능을 확장하여, 자원이 제한된 환경에 배포하는 것을 가능하게 합니다. 하지만 SLMs의 제한적인 능력 때문에, 강화학습(RL)만으로는 효과적인 도구 사용 행동을 발견하기 어렵고, 직접적인 교사 감독은 교사-학생 행동 분포 불일치 문제로 인해 어려움을 겪으며 잘못된 선호도를 전파할 수 있습니다. 이러한 과제들을 해결하기 위해, 우리는 선택적 교사 안내 정책 최적화(Selective Teacher guided Policy Optimization, SeTPO)를 제안합니다. 이는 학생의 탐색을 선택적인 교사 안내 및 지속적인 시연 감독과 조정하는 방식입니다. 구체적으로, SeTPO는 낮은 보상 궤적에서의 정책 이점(policy advantages)에 역 KL(reverse KL) 유도 토큰 레벨 교사 피드백을 통합하며, 보조 전방 KL(auxiliary forward KL) 감독은 학습 전체에 걸쳐 교사가 시연한 행동을 유지합니다. 이상적인 양방향 KL 목적 함수 하에서, 우리는 최적 정책이 교사의 기대 보상보다 낮은 기대 보상을 달성하지 않으면서도 교사 확률 질량의 보장된 분율을 유지함을 이론적으로 확립합니다. BFCL v4 및 API Bank에 대한 광범위한 실험은 SeTPO가 세 가지 학생 규모 전반에 걸쳐 지도 미세 조정(supervised fine tuning), 강화학습, 증류(distillation) 기준선들보다 우수한 전체 성능을 달성함을 보여줍니다.