DPEPO: LLM 기반 에이전트를 위한 다양성 병렬 탐색 정책 최적화

요약

본 논문은 기존의 단일 환경 상호작용에 국한된 LLM 에이전트의 한계를 극복하기 위해, 여러 환경을 동시에 탐색하고 교차 궤적 경험을 공유할 수 있는 새로운 패러다임을 제시합니다. 이를 기반으로, 다양한 병렬 탐색을 장려하는 강화학습 알고리즘인 DPEPO를 제안합니다. DPEPO는 초기 SFT와 계층적 보상 체계를 결합하여 행동 중복을 방지하고 광범위한 탐색을 촉진하며, ALFWorld 및 ScienceWorld에서 SOTA 성능을 입증했습니다.

핵심 포인트

• 기존 LLM 에이전트의 단점: 순차적 '추론-행동' 패러다임은 환경 상호작용이 단일하고 제한적입니다.
• 새로운 접근 방식: 여러 환경을 동시에 상호작용하고 교차 궤적 경험을 공유하는 병렬 탐색 패러다임을 도입했습니다.
• DPEPO 알고리즘의 구성: 초기 SFT를 통해 기본 능력을 확보한 후, 계층적 보상(Hierarchical Reward) 기반 RL로 미세 조정합니다.
• 핵심 보상 설계: '다양성 행동 보상' 및 '다양성 상태 전이 보상'을 도입하여 행동 중복을 패널티하고 탐색 범위를 넓힙니다.
• 실험 결과: ALFWorld와 ScienceWorld에서 강력한 순차적 베이스라인 대비 SOTA 성공률과 효율성을 모두 달성했습니다.