강화학습(RL)으로 훈련된 다중 턴 에이전트는 트랙젝토리당 단일 스칼라 보상을 받습니다. 이는 숙련된 태스크 기술을 가진 자체 교사(self-teacher)로부터 밀도 높은 토큰 레벨의 지도(supervision)를 제공하는 자체 온정책 증류(OPD)를 유도하며, 이를 통해 기술이 없는 학생(skill-free student)이 이 지도를 내재화하도록 합니다. 하지만 이러한 방식은 에이전트 태스크에서 두 가지 발견으로 인해 약화됩니다. 첫째, 숙련된 정보만으로는 항상 교사를 신뢰할 수 있게 만들지 못한다는 점이고, 둘째, 교사 지도의 이점이 단계에 따라 달라진다는 것입니다. 따라서 우리는 환경 보상과 결합된 분리되고 기술 조건화된(skill-conditioned) 교사를 최적화한 다음, RL과 OPD를 통해 기술이 없는 학생을 공동으로 훈련하는 RetireOPD (Self-Retiring On-Policy Distillation)를 제안합니다. RetireOPD는 사전에 정의된 증류 스케줄을 따르는 대신 '적응형 은퇴(Adaptive Retirement)' 방식을 채택합니다. 즉, 학생의 불일치도가 줄어들기를 멈추고 교사 성공률의 목표 비율에 도달하면 스스로 교사를 포기하며, 그 이후부터는 RL만으로 훈련이 진행됩니다. 1.5B부터 7B까지의 Qwen2.5 모델 전반에 걸쳐 RetireOPD는 ALFWorld 성공률을 RL 기준선 대비 14.1%에서 18.8% 향상시키고 WebShop 정확도를 11.8%에서 19.0% 향상시켰으며, 모든 설정에서 자체 기술 조건화 교사를 능가했습니다.