에이전트 강화학습 (Agentic RL)을 통해 LLM (Large Language Models)에 도구 사용 능력을 부여하는 것은 두 가지 과제에 의해 병목 현상을 겪고 있습니다: 확장 가능하고 강건한 실행 환경의 부족, 그리고 인간의 암시적 추론을 포착하는 현실적인 학습 데이터의 희소성입니다. 기존 방식들은 비용이 많이 드는 실제 API, 환각 (hallucination)에 취약한 LLM 시뮬레이터, 또는 종종 단발성(single-turn)이거나 미리 수집된 문서에 의존하는 합성 환경에 의존합니다. 더욱이, 합성된 궤적 (trajectories)은 종종 과도하게 상세하게 지정되어 자연스러운 인간의 의도보다는 지시 시퀀스 (instruction sequences)와 유사하며, 이는 RL (Reinforcement Learning) 학습에 대한 효과를 감소시킵니다.

우리는 이 두 가지 과제를 모두 해결하는 완전 자동화 프레임워크인 EnvFactory를 소개합니다. EnvFactory는 실제 리소스로부터 상태 유지(stateful)가 가능하고 실행 가능한 도구 환경을 자율적으로 탐색 및 검증하며, 위상 인식 샘플링 (topology-aware sampling)과 보정된 정제 (calibrated refinement)를 통해 자연스러운 다회차 (multi-turn) 궤적을 합성하여 암시적 의도를 가진 근거 있는 쿼리 (grounded queries)를 생성합니다. 7개 도메인에 걸쳐 검증된 85개의 환경만을 사용하여, EnvFactory는 2,575개의 SFT (Supervised Fine-Tuning) 및 RL 궤적을 생성합니다. 종종 5배 더 많은 환경을 사용하는 이전 연구들보다 현저히 적은 환경을 사용함에도 불구하고, EnvFactory는 우수한 학습 효율성과 다운스트림 성능을 달성하여 Qwen3-series 모델을 BFCLv3에서 최대 +15%, MCP-Atlas에서 +8.6%, 그리고 $τ^2$-Bench 및 VitaBench를 포함한 대화형 벤치마크에서 +6%까지 향상시켰습니다. 환경 구축과 궤적 합성을 모두 완전히 자동화함으로써, EnvFactory는 에이전트 강화학습 (Agentic RL)을 위한 확장 가능하고 확장성 있으며 강건한 기반을 제공합니다.