Agentic-OPD: 온-폴리시 증류를 통한 에이전트 작업의 잊힌 능력 복구

요약

본 논문은 LLM 에이전트 훈련 시 최적 체크포인트만 보존하여 발생하는 능력 손실 문제를 지적합니다. 이를 해결하기 위해, 폐기된 모든 체크포인트를 교사 풀로 활용하는 Agentic-OPD를 제안했습니다. 이 방법은 HCN 정책과 LAD 모듈을 통해 학생 모델의 능력 격차를 채우며, 기존 대비 높은 성능 향상을 입증한 연구입니다.

핵심 포인트

• RL 에이전트 훈련에서 폐기되는 체크포인트는 중요한 학습 자원입니다.
• Agentic-OPD는 이 폐기된 체크포인트를 교사 풀로 재활용합니다.
• HCN 정책과 LAD 모듈을 통해 효율적이고 안전한 지식 전이를 수행합니다.
• 벤치마크에서 초기화 대비 최대 7.4점의 성능 향상을 보였습니다.