APEX: 자기 진화형 LLM 에이전트를 위한 자율 정책 탐색 (Autonomous Policy Exploration)

요약

APEX는 장기적 의사 결정에 필요한 자기 진화형 LLM 에이전트가 겪는 '탐색 붕괴' 문제를 해결하기 위해 제안된 프레임워크입니다. 이 시스템은 전략 지도를 통해 명시적인 전략 공간을 구축하고, 분기 발견과 정책 선택 메커니즘을 사용하여 탐색(exploration)과 활용(exploitation)의 균형을 맞춥니다. Jericho 텍스트 어드벤처 게임 및 WebArena와 같은 다양한 환경에서 기존 모델들보다 우수한 성능을 입증했습니다.

핵심 포인트

• APEX는 자기 진화형 LLM 에이전트가 직면하는 탐색 붕괴(exploration collapse) 문제를 해결합니다.
• 명시적인 전략 공간 관리를 위해 유향 비순환 그래프 형태의 '전략 지도(strategy map)'를 사용합니다.
• 분기 발견(Fork Discovery)을 통해 증거 기반으로 미탐색 방향을 확장하고, 정책 선택(Policy Selection)으로 탐색과 활용의 균형을 유지합니다.
• Jericho 텍스트 어드벤처 게임 및 WebArena와 같은 다양한 환경에서 기존 베이스라인 모델들을 능가하는 성능을 보였습니다.