EnvFactory: 실행 가능한 환경 합성 및 강건한 RL을 통한 도구 사용 에이전트의 확장

요약

EnvFactory는 LLM의 도구 사용 능력을 향상시키기 위해 실행 가능한 환경 합성 및 강화학습(RL)을 자동화하는 프레임워크입니다. 실제 리소스를 활용해 상태 유지(stateful)가 가능한 환경을 자율적으로 구축하고, 자연스러운 다회차 궤적을 생성하여 학습 효율성을 극대화합니다. 이를 통해 Qwen3-series 모델의 벤치마크 성능을 대폭 향상시키는 성과를 거두었습니다.

핵심 포인트

• 실제 리소스를 기반으로 상태 유지(stateful)가 가능한 실행 환경을 자율적으로 탐색 및 검증
• 위상 인식 샘플링과 보정된 정제를 통해 인간의 암시적 의도가 담긴 자연스러운 다회차 궤적 합성
• 적은 수의 환경(85개)만으로도 대량의 고품질 SFT 및 RL 궤적 생성 가능
• BFCLv3, MCP-Atlas 등 주요 벤치마크에서 Qwen3-series 모델의 성능을 최대 15% 향상