Qwen-AgentWorld: RL 에이전트를 위한 월드 모델로서의 언어 모델 학습 — 분리된 RL 시뮬레이터로서의 월드 모델

무엇인가 (What): Qwen-AgentWorld 출시 (arXiv 2606.24597)는 언어 모델을 **월드 모델 (world model)**로 학습시킵니다. 즉, 현재의 관찰 (observation)과 에이전트의 행동 (action)이 주어지면, 다음 환경 상태 (next environment state)를 예측합니다. 이 연구가 구체화한 아이디어는 해당 모델을 **강화학습 (RL) 에이전트를 위한 분리된 시뮬레이터 (decoupled simulator)**로 사용하는 것입니다.

이유 (Why): RL로 에이전트를 학습시키려면 환경에서의 방대한 시행착오 (trial-and-error) 시도가 필요합니다. 하지만 실제 환경은 느리고, 비용이 많이 들며, 병렬로 실행하기 어렵습니다. 학습된 시뮬레이터를 사용하면 이러한 경험을 저렴하고 대규모로 생성할 수 있습니다.

기존 방식과의 차이 (vs prior): 표준적인 에이전트 RL은 **실제 환경과 결합 (coupled)**되어 있습니다. 즉, 매 단계마다 실제 웹 페이지, 터미널 또는 게임의 응답을 기다려야 합니다. Qwen-AgentWorld는 환경의 응답을 직접 예측함으로써 **이 둘을 분리 (decouple)**하며, 다운스트림 에이전트를 위한 웜스타트 파운데이션 모델 (warm-start foundation model) 역할도 수행합니다.

비유하자면

조종사들이 실제의 비싼 비행기 대신 훈련하는 비행 시뮬레이터와 같습니다.

                 RL 에이전트 (훈련 중인 조종사)
                            │
           ┌────────────────┴────────────────┐
...

• 월드 모델 (world model) = 다음에 무슨 일이 일어날지 예측하는 비행 시뮬레이터
• 실제 환경 (real environment) = 실제 항공기, 훈련 비용이 많이 들고 느림
• RL 에이전트 (RL agent) = 시행착오를 통해 배우는 훈련 중인 조종사
• 다음 상태 예측 (next-state prediction) = 시뮬레이터가 다음 계기판 수치를 계산하는 것
• 분리된 시뮬레이터 (decoupled simulator) = 실제 비행기 없이 수천 개의 시뮬레이션 세션을 동시에 실행하는 것
• 에이전트 웜스타트 (agent warm-start) = 첫 실제 비행 전 시뮬레이션에서 기록한 비행 시간

빠른 용어 정리

월드 모델 (World model) — 환경이 어떻게 변하는지 예측하는 모델입니다. 현재 상태와 행동을 입력하면, 발생 가능성이 높은 다음 상태를 반환합니다. Qwen-AgentWorld는 에이전트 환경에 대해 이 역할을 수행하도록 언어 모델을 학습시킵니다.

강화학습 (Reinforcement learning, RL) — **보상 (reward)을 향한 시행착오 (trial and error)**를 통한 학습 — 에이전트가 행동하고, 결과를 확인하고, 조정하는 과정입니다. RL은 데이터 집약적입니다. 즉, 많은 환경 단계 (environment steps)가 필요한데, 이것이 바로 빠른 시뮬레이터가 제공하는 핵심 요소입니다.

다음 상태 예측 (Next-state prediction) — 월드 모델의 핵심 작업: (관측값 (observation), 행동 (action))이 주어졌을 때, 다음 관측값을 출력하는 것입니다. 이를 충분히 정확하게 수행할 수 있다면, 모델은 학습을 위해 실제 환경을 대체할 수 있습니다.

롤아웃 (Rollout) — 시작부터 끝까지 **환경 내에서 에이전트가 수행하는 한 번의 완전한 실행 (trial run)**을 의미합니다. RL은 수천 번의 롤아웃을 통해 학습합니다. 실제 환경에서는 각 롤아웃이 느리지만, 시뮬레이터에서는 비용이 저렴합니다.

분리형 (Decoupled, vs coupled) — 결합형 (coupled) 설정은 각 학습 단계를 실제 환경에 종속시키지만, 분리형 (decoupled) 설정은 시뮬레이터로 교체하여 학습이 더 이상 실제 웹 페이지, 터미널 또는 게임의 응답을 기다리지 않도록 합니다.

웜스타트 (Warm-start) / 파운데이션 모델 (foundation model) — 처음부터 학습하는 대신 사전 학습된 모델을 **출발점 (head start)**으로 사용하는 것입니다. Qwen-AgentWorld는 특정 작업에 대한 미세 조정 (fine-tuning)을 수행하기 전, **다운스트림 에이전트 (downstream agents)를 예열 (warms up)**하는 파운데이션 모델의 역할도 겸합니다.

하이브리드 보상 (Hybrid reward) — 둘 이상의 목표를 결합한 보상 신호입니다. Qwen-AgentWorld의 마지막 RL 단계에서는 시뮬레이션 충실도 (simulation fidelity) — 즉, 예측된 상태가 현실과 얼마나 충실하게 일치하는지를 날카롭게 다듬기 (sharpen) 위해 이를 사용합니다.

뉴스. 2026년 6월 24일, Qwen-AgentWorld 팀은 **에이전트를 위한 월드 모델 (world model for agents)**로 작동하도록 학습된 언어 모델을 출시했습니다. 이 모델은 현재의 관찰 (observation)과 에이전트의 행동 (action)이 주어지면 다음 환경 상태 (next environment state)를 예측합니다. 이는 두 가지 방식으로 사용됩니다. 수천 개의 시나리오에 걸쳐 RL 에이전트를 학습시키기 위한 **분리된 환경 시뮬레이터 (decoupled environment simulator)**로서의 역할, 그리고 다운스트림 에이전트들을 예열하는 **파운데이션 모델 (foundation model)**로서의 역할입니다. 학습은 3단계 파이프라인(지속적 사전 학습 (continual pre-training) → 지도 미세 조정 (supervised fine-tuning) → 하이브리드 보상을 통한 RL)으로 구성되며, 팀의 보고에 따르면 이 모델은 7개 도메인에 걸친 AgentWorldBench에서 기존의 프런티어 모델들보다 뛰어난 성능을 보입니다 (성능 향상은 단일 수치 없이 정성적으로 기술되었습니다). 논문 읽기 →

조종사를 어떻게 훈련시키는지 생각해 보십시오. 초보자에게 실제 제트기의 조종간을 맡겨 수백 번 추락하게 두지 않습니다. 대신 각 입력에 대해 비행기가 어떻게 행동할지 예측하는 비행 시뮬레이터에 넣습니다. 시뮬레이터는 더 저렴하고 안전하며, 한 번에 수천 개를 동시에 실행할 수 있습니다. Qwen-AgentWorld는 소프트웨어 에이전트를 위해 정확히 이 작업을 수행합니다. 느린 실제 환경에서 학습하는 대신, 언어 모델이 환경 그 자체가 되도록 학습시킵니다. 즉, 현재 화면과 에이전트의 행동으로부터 다음 화면이 어떻게 보일지를 예측하도록 하는 것입니다.

이것이 왜 RL에 그토록 중요할까요? 강화학습 (reinforcement learning)은 경험에 매우 굶주려 있기 때문입니다. RL은 행동을 시도하고, 환경의 반응을 확인하고, 조정하는 과정을 수천, 수만 번 반복함으로써 개선됩니다. 이러한 단계 하나하나가 실제 웹 페이지나 터미널과 결합되어 있다면, GPU가 아니라 환경이 병목 현상 (bottleneck)이 됩니다. 학습된 월드 모델은 그 결합을 끊어줍니다. 다음 상태를 예측하는 것은 단지 순전파 (forward pass)일 뿐이므로, 실제 세계의 응답을 기다릴 필요 없이 엄청난 수의 롤아웃 (rollouts)을 병렬로 실행할 수 있습니다.

Qwen-AgentWorld는 어떻게 언어 모델을 시뮬레이터로서 충분히 훌륭하게 만드나요? 세 단계의 과정이 있으며, 각 단계는 하나의 능력을 추가합니다: 지속적 사전 학습 (continual pre-training)은 광범위한 월드 모델링 (world-modeling) 능력을 주입하고, 지도 미세 조정 (supervised fine-tuning)은 명시적인 다음 상태 예측 (next-state-prediction) 추론 능력을 활성화하며, 마지막 RL 단계에서는 하이브리드 보상 (hybrid reward)을 통해 예측된 상태가 실제 환경의 결과와 얼마나 충실히 일치하는지, 즉 시뮬레이션 충실도 (simulation fidelity)를 날카롭게 다듬습니다. 이렇게 학습된 동일한 모델은 **웜스타트 파운데이션 모델 (warm-start foundation model)**로서 이중 역할을 수행하며, 하위 에이전트(downstream agents)가 특정 작업에 대한 미세 조정을 거치기 전에 유리한 출발점을 제공합니다.

예시 수치를 통해 경제성을 살펴보겠습니다 (논문에는 단계별 속도 수치가 공개되지 않았습니다). 실제 웹 환경에서의 단일 롤아웃 (rollout)에 30초가 소요되고 10개를 병렬로 실행할 수 있다고 가정하면, 이는 시간당 약 1,200회의 롤아웃입니다. 반면, 월드 모델이 다음 상태를 예측하는 데 **~50밀리초 (milliseconds)**가 걸리고 1,000개를 병렬로 실행한다면, 이는 시간당 수천만 단계 (tens of millions of steps) 규모가 됩니다 (예시 수치). 시간당 경험량에서 발생하는 이 수만 배의 격차가 핵심입니다. 이것이 바로 에이전트가 실제 환경의 예산으로는 결코 도달할 수 없는 수천 개의 시나리오를 통해 학습될 수 있게 만드는 원동력입니다. 물론 관건은 충실도 (fidelity)입니다. 시뮬레이터에서 학습된 에이전트는 시뮬레이터의 예측이 실제와 가깝게 유지될 때만 전이 (transfer)될 수 있으며, 이것이 바로 마지막 RL 단계가 목표로 하는 바입니다.

학습 설정	각 단계의 "다음에 무슨 일이 일어나는가"의 출처	경험 비용
실제 환경과 결합됨 (Coupled to a live environment)	실제 웹 페이지 / 터미널 / 게임	느리고 병렬화가 어려움 — 환경이 병목 현상 (bottleneck)이 됨
분리된 월드 모델 시뮬레이터 (Qwen-AgentWorld)	모델 자체의 다음 상태 예측 (next-state prediction) (논문)	포워드 패스 (forward pass) — 저렴하고 대규모 병렬 처리가 가능함; 충실도가 관리해야 할 리스크임

더 자세한 내용: AI Agents → Agent Loop & State → Inside a Tick

관련 설명 자료

• Agent environment survey — symbolic vs neural synthesis — 에이전트의 훈련 환경을 구축하는 방법에 대한 더 넓은 지도; 학습된 월드 모델 (World Model)은 해당 분류 중 "신경망 (neural)" 측면에 해당합니다.
• EnvFactory — synthesizing tool environments — 에이전트가 훈련하는 환경을 제조하는 또 다른 방법입니다.
• OpenThoughts-Agent — task-source diversity — 에이전트에게 훈련 과정에서 무엇을 제공하는지에 관한 내용; Qwen-AgentWorld는 그러한 훈련 경험이 "어디에서" 오는가에 관한 것입니다.
• Role-Agent — dual-role self-play — 모델이 스스로를 훈련시키기 위해 상호작용의 상대방 측면을 상상하는 또 다른 사례입니다.

FAQ

분리된 RL 시뮬레이터로 사용되는 월드 모델이란 무엇인가요?

월드 모델 (World Model)은 환경이 어떻게 변화하는지를 예측하는 모델입니다. 즉, 현재의 관찰 (Observation)과 행동 (Action)이 주어졌을 때, 다음에 올 가능성이 높은 상태 (State)를 반환합니다. Qwen-AgentWorld (arXiv 2606.24597, 2026년 6월)는 에이전트 환경을 위해 이러한 역할을 수행하도록 언어 모델 (Language Model)을 훈련시킨 후, 이를 분리된 시뮬레이터 (Decoupled Simulator)로 사용합니다. 이는 실제 환경을 대신하는 대역 역할을 하여, 강화학습 (Reinforcement Learning) 에이전트가 실제 웹 페이지, 터미널 또는 게임을 기다릴 필요 없이 수천 개의 시나리오에 걸쳐 훈련될 수 있도록 합니다. 동일한 모델은 다운스트림 에이전트 (Downstream Agents)를 예열하는 파운데이션 모델 (Foundation Model)의 역할도 수행합니다.

왜 실제 환경 대신 학습된 시뮬레이터에서 에이전트를 훈련시키나요?

강화학습 (Reinforcement learning)은 엄청난 수의 시행착오 (trial-and-error) 단계가 필요하며, 각 단계가 실제 환경에서 실행될 때 해당 환경은 병목 현상 (bottleneck)이 됩니다. 즉, 속도가 느리고 병렬화 (parallelize)하기 어렵습니다. 월드 모델 (world model)은 단 한 번의 순전파 (forward pass)로 다음 상태 (next state)를 예측하므로, 롤아웃 (rollouts) 비용이 저렴해지고 대규모 병렬 처리가 가능해집니다. 이를 통해 에이전트는 실제 환경의 예산이 허용하는 것보다 훨씬 더 많은 시나리오에 걸쳐 훈련할 수 있습니다. 여기서 위험 요소는 충실도 (fidelity)입니다. 에이전트는 시뮬레이터의 예측이 현실과 밀접하게 유지될 때만 실제 세계로 전이 (transfer)될 수 있으며, Qwen-AgentWorld의 마지막 RL 단계는 하이브리드 보상 (hybrid reward)을 통해 이 점을 목표로 합니다.

Qwen-AgentWorld는 어떻게 학습되었나요?

세 단계의 파이프라인을 통해 학습되었습니다: 광범위한 월드 모델링 능력을 주입하기 위한 지속적 사전 학습 (continual pre-training), 명시적인 다음 상태 예측 추론 (next-state-prediction reasoning)을 활성화하기 위한 지도 미세 조정 (supervised fine-tuning), 그리고 시뮬레이션 충실도를 날카롭게 다듬기 위한 하이브리드 보상을 활용한 강화학습 (reinforcement learning)입니다. 연구팀은 Qwen-AgentWorld가 단일한 헤드라인 수치 대신 질적으로 기술된 7개 도메인의 AgentWorldBench에서 기존의 프런티어 모델 (frontier models)보다 뛰어난 성능을 보였다고 보고했습니다.

원문 게시처: Learn AI Visually