StraTA: Incentivizing Agentic Reinforcement Learning with Strategic Trajectory

요약

본 연구는 LLM 기반 에이전트의 장기적 의사결정 문제를 해결하기 위해 '전략적 궤적 추상화(StraTA)'라는 프레임워크를 제안합니다. StraTA는 초기 작업 상태에서 컴팩트한 전략을 샘플링하고, 후속 행동은 이 전략에 조건부로 결정하며, 계층적 GRPO 스타일의 롤아웃 설계를 통해 전략 생성과 행동 실행을 동시에 학습합니다. 실험 결과, StraTA는 ALFWorld, WebShop, SciWorld 등 다양한 환경에서 기존 강력한 베이스라인 모델들을 능가하는 높은 성공률과 샘플 효율성을 보여주었습니다.

핵심 포인트

• LLM 에이전트의 장기적 의사결정 최적화에 어려움이 있으며, 이는 순수 반응형 접근 방식 때문입니다.
• StraTA는 명시적인 궤적 수준의 전략을 도입하여 에이전트 강화학습(RL)에 구조를 부여합니다.
• 핵심 메커니즘은 초기 상태에서 컴팩트한 '전략'을 샘플링하고, 후속 행동을 이 전략에 조건부로 만드는 것입니다.
• 계층적 GRPO 스타일의 롤아웃 설계를 통해 전략 생성과 행동 실행을 통합적으로 학습합니다.