RetireOPD: 에이전트 학습을 위한 자체 종료형 온정책 증류 (Self-Retiring On-Policy Distillation)

요약

본 논문은 강화학습 에이전트의 학습 효율을 높이기 위해 'RetireOPD'라는 새로운 방법을 제안합니다. 이는 자체 온정책 증류(OPD)를 환경 보상과 결합하고, 학생의 불일치도와 교사 성공률에 따라 적응적으로 교사를 포기하는 메커니즘을 도입했습니다. 이 방법은 Qwen2.5 모델 전반에서 ALFWorld 및 WebShop 등 다양한 태스크의 성능을 크게 향상시켰습니다.

핵심 포인트

• RetireOPD는 자체 온정책 증류(OPD)를 개선한 기술입니다.
• 적응형 은퇴 방식을 통해 학습 효율성을 극대화합니다.
• Qwen2.5 모델에서 ALFWorld 및 WebShop 성능을 크게 향상시켰습니다.