Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
EnvACE는 외부 환경과의 상호작용 대신 '월드 리허설'을 통해 환경 역학을 내재화하는 에이전트 강화 학습 방법론을 제안합니다. 모델이 행동과 그에 따른 환경 응답을 스스로 생성하며 학습함으로써, 외부 시뮬레이터 없이도 강력한 에이전트 세계 모델을 구축할 수 있습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기장기 지평(long-horizon) 도구 사용을 위해 대규모 언어 모델(LLM) 에이전트를 훈련하는 것은 일반적으로 실제 또는 합성 실행 가능한 환경과의 상호작용에 의존합니다. 이러한 환경의 구축 및 검증은 비용이 많이 들거나, 외부 시뮬레이터는 접지(grounding)하기 어렵습니다. 우리는 월드 리허설(world rehearsal)을 통해 훈련 중 외부 환경 상호작용을 대체하는 에이전트 강화 학습 방법인 EnvACE를 소개합니다. 정책은 행동과 리허설 사이를 번갈아 수행합니다: 먼저 도구 호출을 생성한 다음, 그 행동에 의해 유발되는 응답을 생성하기 위해 환경의 역할을 수행하고, 이후 결정은 리허설된 응답에 조건화됩니다. 두 역할 모두 태스크 성공 보상(task-success rewards)을 사용하여 엔드투엔드로 공동 최적화됩니다. 월드 리허설을 통해 정책은 행동과 그 환경 응답 사이의 관계를 매개변수 내부에 내재화하여, 의사 결정을 직접적으로 지원하는 에이전트 세계 모델(agent world model)을 산출합니다. BFCL-v4, tau^2-Bench, VitaBench, 그리고 FinMCP-Bench 전반에 걸쳐 EnvACE는 강력하고 전이 가능한 성능을 달성하며, 전체 평가에서 환경 스케일링 기반선(environment-scaling baselines)을 능가합니다. 통제된 연구들은 또한 월드 리허설이 모델 규모 전반에 걸쳐 정책 학습을 일관되게 개선함을 보여줍니다. 테스트 시점에는 내재화된 세계 모델이 확정적인 실행 전에 사적 리허설(private rehearsal)을 가능하게 하여, 추가적인 외부 상호작용 없이도 적당한 리허설 예산 하에서 추가적인 이득을 가져옵니다. 우리의 발견은 월드 리허설을 외부 환경의 제약을 넘어 LLM 에이전트 훈련을 확장하는 새로운 경로로 확립합니다. 우리의 코드는 https://github.com/Within-yao/EnvACE에서 공개적으로 이용 가능합니다.