자기 증류 에이전트 강화학습 (Self-Distilled Agentic Reinforcement Learning)

요약

본 논문은 LLM 에이전트의 사후 학습(post-training)을 위한 새로운 프레임워크인 Self-Distilled Agentic Reinforcement Learning (SDAR)를 제안합니다. 기존의 On-Policy Self-Distillation (OPSD) 방식은 장기 상호작용에서 다회차 불안정성 및 부정적인 교사 거부 처리 문제에 직면했습니다. SDAR는 OPSD를 게이트형 보조 목적 함수로 통합하여, 시그모이드 게이트를 통해 긍정적 토큰 증류를 강화하고 부정적 피드백은 부드럽게 감쇠시켜 안정성을 확보합니다.

핵심 포인트

• SDAR는 LLM 에이전트의 사후 학습을 위한 새로운 RL 프레임워크이다.
• 기존 OPSD 방식은 다회차 상호작용에서 불안정성 및 부정적 교사 거부 처리에 어려움이 있었다.
• SDAR는 게이트형 보조 목적 함수를 사용하여 긍정적인 토큰 증류를 강화하고, 부정적인 피드백을 부드럽게 감쇠시킨다.
• ALFWorld, WebShop, Search-QA 등 다양한 환경에서 GRPO 대비 높은 성능 향상을 입증했다.