PhantomEnvironments: 가상의 세계에서 LLM 에이전트 훈련하기

요약

본 논문은 기존의 고비용 데이터나 위험한 환경에 의존하던 LLM 에이전트 훈련 방식을 개선했습니다. 'PhantomEnvironments'라는 가상의 합성 환경을 구축하여, LLMs를 규칙만으로 생성된 다중 턴 RL 환경에서 훈련시킬 수 있음을 제시합니다. 이 단순하고 저렴한 환경은 실제 세계의 복잡한 검색 및 추론 작업에 높은 전이 성능을 보였습니다.

핵심 포인트

• 가상 합성 환경(PhantomEnvironments)을 활용하여 LLM 에이전트를 훈련할 수 있습니다.
• 환경 생성 비용이 '0'인 규칙 기반의 다중 턴 RL 학습이 가능합니다.
• 단순한 가상 환경에서도 실제 세계의 복잡한 검색 및 추론 작업으로 성능 전이가 입증되었습니다.
• 에이전트는 질문 난이도에 따라 검색 예산을 효율적으로 확장하는 능력을 학습했습니다.