Action Guidance로부터 Agentic Policy 학습하기

요약

본 논문은 LLM 기반 에이전트 강화학습(Agentic RL)에서 기본 정책의 탐색 한계를 극복하기 위해 ActGuide-RL을 제안합니다. 이 방법은 값비싼 SFT 대신 일상적인 인간 상호작용 데이터에서 얻은 액션 데이터를 '계획 스타일 참조 가이드'로 활용하여, 에이전트가 보상 상태에 도달하는 데 필요한 외부 안내를 제공합니다. ActGuide-RL은 가이드와 비가이드를 혼합 학습하고 최소 개입 원칙을 적용함으로써, 오프-폴리시 리스크를 줄이고 검색 에이전트 벤치마크에서 높은 성능 향상을 입증했습니다.

핵심 포인트

• ActGuide-RL은 LLM 에이전트 RL의 탐색 한계를 극복하기 위한 새로운 프레임워크입니다.
• SFT 의존도를 낮추고, 일상적인 액션 데이터를 계획 스타일 참조 가이드로 활용합니다.
• 가이드와 비가이드를 혼합 정책 학습(mixed-policy training)하여 얻은 이득을 기본 정책에 내재화합니다.
• 최소 개입 원칙과 적응형 폴백 메커니즘을 통해 오프-폴리시 리스크를 최소화했습니다.
• 검색 에이전트 벤치마크에서 기존 방법 대비 높은 성능 향상을 보였습니다.