LLM 에이전트의 자율적 탐색을 위한 Explore-then-Act 패러다임 제안

원문 발행 2026. 05. 16. 01:24원문 언어 영어AI 한국어 번역arXiv cs.CL 원문 보기

요약

LLM 에이전트가 환경 정보를 충분히 습득하기 전 행동을 결정하는 '조기 착취(Premature Exploitation)' 문제를 해결하기 위해 Explore-then-Act 패러다임을 제안합니다. 이 방식은 에이전트가 먼저 상호작용 예산을 통해 환경 지식을 습득한 후 작업을 수행하도록 하여, 자율적 탐색 능력을 강화하고 일반화 성능을 높입니다.

핵심 포인트

LLM 에이전트의 조기 착취(Premature Exploitation) 현상 및 한계 지적
탐색 능력을 정량화하기 위한 '탐색 체크포인트 커버리지(Exploration Checkpoint Coverage)' 지표 도입
작업 실행과 탐색 롤아웃을 교차 수행하고 각각 검증 가능한 보상으로 최적화하는 훈련 전략 개발
정보 수집과 작업 실행을 분리하여 환경 지식을 먼저 습득하는 Explore-then-Act 패러다임 제안

Large Language Model (LLM) 기반 에이전트들은 환경 특유의 정보를 충분히 습득하기 전에 기존 지식에 의존하여 행동하려는 성향인 조기 착취 (Premature Exploitation)로 인해 낯선 환경에서 실패하는 경우가 많습니다. 우리는 적응형 에이전트 (Adaptive Agents)를 구축하는 데 있어 자율적 탐색 (Autonomous Exploration)이 매우 중요하지만 아직 충분히 연구되지 않은 능력임을 확인했습니다. 이 능력을 공식화하고 정량화하기 위해, 우리는 에이전트가 핵심 상태 (States), 객체 (Objects), 그리고 어포던스 (Affordances)를 얼마나 폭넓게 발견하는지를 측정하는 검증 가능한 지표인 탐색 체크포인트 커버리지 (Exploration Checkpoint Coverage)를 도입합니다. 체계적인 평가 결과, 표준적인 작업 지향 강화학습 (Task-oriented Reinforcement Learning)으로 훈련된 에이전트들은 하위 작업 성능 (Downstream Performance)을 저해하는 좁고 반복적인 행동을 일관되게 보인다는 것을 발견했습니다. 이러한 한계를 해결하기 위해, 우리는 작업 실행 롤아웃 (Task-execution Rollouts)과 탐색 롤아웃 (Exploration Rollouts)을 교차하여 수행하며, 각 유형의 롤아웃을 그에 상응하는 검증 가능한 보상 (Verifiable Reward)으로 최적화하는 훈련 전략을 개발했습니다. 이 훈련 전략을 바탕으로, 우리는 정보 수집과 작업 실행을 분리하는 Explore-then-Act 패러다임을 제안합니다. 이 패러다임에서 에이전트는 먼저 상호작용 예산 (Interaction Budget)을 활용하여 근거 있는 환경 지식 (Grounded Environmental Knowledge)을 습득한 다음, 이를 작업 해결에 활용합니다. 우리의 연구 결과는 체계적으로 탐색하는 법을 배우는 것이 일반화 가능하고 실제 환경에 적용 가능한 에이전트를 구축하는 데 필수적임을 입증합니다.

AI 자동 생성 콘텐츠

원문 바로가기

LLM 에이전트의 자율적 탐색을 위한 Explore-then-Act 패러다임 제안

요약

핵심 포인트

댓글