월드 모델(World Models)에서 월드 액션 모델(World Action Models)로: 로봇 학습을 위한 실용적 분류 체계

로봇 학습(Robot learning)은 오랫동안 근본적인 격차로 인해 어려움을 겪어 왔습니다. 모델이 어떤 행동(action) 이후의 세상이 어떻게 보일지 예측할 수는 있지만, 그 예측을 실제 모터 명령(motor commands)으로 변환하는 것은 별개의, 종종 취약한(brittle) 문제입니다. Zhang, Zeng, Zhang의 새로운 튜토리얼 — arXiv:2607.00836 — 은 이 격차를 공식화하고, 이를 메우기 위한 통합 프레임워크로서 월드 액션 모델 (World Action Models, WAMs) 개념을 소개합니다. 이 포스트에서는 분류 체계를 살펴보고, 각 접근 방식의 메커니즘을 설명하며, 오늘날 로봇 학습 시스템을 구축하는 실무자들에게 이것이 무엇을 의미하는지 논의합니다.

월드 액션 모델(World Action Model)이란 무엇인가?

표준적인 월드 모델(world model)은 현재 상태(state)와 행동(action)이 주어졌을 때 미래의 관측값(observations)을 추정합니다. 즉, "내가 X를 하면 세상이 어떻게 보일까?"라는 질문에 답합니다. 반면, 시각-언어-행동 (Vision-Language-Action, VLA) 모델은 언어 지시(language instructions)와 시각적 관측값(visual observations)을 모터 명령(motor commands)으로 직접 매핑합니다. 두 방식 모두 잘 알려진 한계가 있습니다. 월드 모델은 행동을 생성하지 못하며, VLA는 정밀한 물리적 조작(physical manipulation)에 필요한 시공간적 사전 지식(spatiotemporal priors)이 부족한 경우가 많습니다.

월드 액션 모델(World Action Model)은 이 둘 사이를 연결합니다. 공식적으로, WAM은 현재 관측값(observation)과 언어 지시(language instruction)를 조건으로 하여, 미래의 시각적 관측값(visual observations) 및 행동 시퀀스(action sequences)에 대한 결합 분포(joint distribution)를 학습합니다:

(o_{t:t+H}, a_{t:t+H}) ~ p_ψ(· | o_t, l)

핵심 통찰은 비디오 예측(video prediction)과 행동 생성(action generation)이 별개의 문제가 아니라는 점입니다. 이들은 의도적인 제어(intentional control) 하에서 물리적 장면이 어떻게 진화하는지를 예측하는 동일한 기저 구조를 공유합니다. WAM은 물리적 제약 조건 하에서 시각적 장면이 어떻게 변하는지를 이미 인코딩하고 있는 사전 학습된 비디오 백본(pretrained video backbones)으로부터 초기화한 다음, 해당 예측을 실행 가능한 로봇 행동(robot actions)과 결합함으로써 이를 활용합니다.

비디오와 행동을 결합하는 네 가지 패러다임

이 튜토리얼은 WAM 구현을 네 가지의 뚜렷한 패러다임으로 분류하며, 각 패러다임은 모듈성 (modularity), 계산 비용 (computational cost), 그리고 일반화 (generalization) 사이에서 서로 다른 절충안 (trade-off)을 제시합니다.

1. 상상 후 실행 (Imagine-Then-Execute)

이 방식은 가장 모듈화된 접근 방식입니다. 비디오 예측 모델 (video prediction model)이 먼저 시각적 하위 목표 (visual subgoals) — 즉, 작업이 완료된 후 장면이 어떻게 보여야 하는지를 보여주는 미래 프레임의 시퀀스를 생성합니다. 그 다음, 별도의 모듈(일반적으로 역 역학 모델 (inverse dynamics model) 또는 목표 조건부 정책 (goal-conditioned policy))이 해당 예측된 프레임들을 모터 명령 (motor commands)으로 매핑합니다.

장점은 관심사의 명확한 분리 (separation of concerns)입니다. 비디오 모델은 인터넷 규모의 대규모 데이터셋으로 사전 학습 (pre-trained)할 수 있고, 액션 모듈은 더 작은 로봇 전용 데이터로 학습할 수 있습니다. 단점은 오차 전파 (error propagation)입니다. 만약 상상된 미래가 물리적으로 불가능하다면, 액션 모듈은 이를 회복할 방법이 없습니다. 14B 파라미터를 가진 WAM인 DreamZero는 이 패러다임을 사용하며, 비디오 생성 파이프라인을 지연 시간 (latency)에 최적화함으로써 7Hz의 실시간 폐루프 제어 (closed-loop control)를 달성합니다.

2. 비디오 특징 조건부 액션 예측 (Video-Feature-Conditioned Action Prediction)

전체 미래 비디오 롤아웃 (video rollout)을 디코딩하는 대신, 이 접근 방식은 비디오 모델의 내부 표현 (internal representations)에서 중간 시공간 특징 (spatiotemporal features)을 추출하여 이를 액션 예측 헤드 (action prediction head)를 위한 조건으로 사용합니다. 완전한 미래 프레임은 생성되지 않으며, 잠재 역학 (latent dynamics)만이 앞으로 전달됩니다.

이는 '상상 후 실행' 방식보다 계산 비용이 저렴하며 시각적 디코딩 병목 현상 (visual decoding bottleneck)을 피할 수 있습니다. 또한 제어에 굳이 필요하지 않을 수도 있는 사진처럼 사실적인 프레임을 생성해야 하는 문제도 우회합니다. 절충안은 해석 가능성 (interpretability)입니다. 검토할 수 있는 명시적인 시각적 예측이 없기 때문에, 모델이 무엇이 일어날 것이라고

여기서 단일 통합 아키텍처 (single unified architecture)는 미래 프레임과 액션 시퀀스 (action sequences)를 동시에 예측하도록 학습됩니다. 이 모델은 일반적으로 비디오 확산 트랜스포머 (video diffusion transformer)를 수정하여 출력 공간에 액션 토큰 (action tokens)을 포함함으로써, 동일한 생성 백본 (generative backbone)으로부터 시각적 미래와 모터 명령 (motor commands)을 모두 출력합니다.

이 패러다임은 가장 강력한 이론적 근거를 가지고 있습니다. 즉, 모델은 자신이 무엇이 일어날 것이라고 예측하는지와 그것을 일어나게 하기 위해 어떤 액션을 권장하는지에 대해 내부적으로 일관성을 유지해야 합니다. Motubrain은 비디오 생성, 역역학 (inverse dynamics), 그리고 비디오-액션 공동 예측 (joint video-action prediction)을 단일 순전파 (forward pass) 과정에서 처리하는 3-스트림 Mixture-of-Transformers 아키텍처를 통해 이를 구현합니다. 그 대가는 학습 복잡도와 수집 비용이 많이 드는 비디오-액션 쌍 데이터셋 (paired video-action datasets)의 필요성입니다.

4. 정책 학습을 위한 보조 비디오 예측 (Auxiliary Video Prediction for Policy Learning)

이 패러다임에서 비디오 예측은 오직 학습 단계의 보조 목적 함수 (auxiliary objective)로만 사용됩니다. 정책 백본 (policy backbone)은 주요 액션 예측 작업과 함께 미래 프레임을 예측하도록 학습되어, 풍부한 시공간 표현 (spatiotemporal representations)을 인코딩하도록 강제됩니다. 추론 (inference) 시에는 비디오 예측 브랜치 (video prediction branch)를 완전히 제거합니다.

이것은 배포를 위한 가장 실용적인 접근 방식입니다. 추론 비용은 표준 정책 (standard policy)과 동일하지만, 모델은 물리적 역학 (physical dynamics)을 모델링하도록 학습함으로써 얻은 귀납적 편향 (inductive bias)의 이점을 누립니다. 이는 임베디드 로봇 하드웨어와 같이 추론 시 연산 자원이 제한적인 경우에 특히 유용합니다.

이 분류 체계가 실무자에게 중요한 이유

WAM 프레임워크는 실무자들이 종종 암묵적으로 내리는 여러 설계 결정 사항을 명확하게 해줍니다:

패러다임에 따라 데이터 요구 사항이 다릅니다. '상상 후 실행 (Imagine-then-execute)' 방식은 비디오 모델을 위해 액션 라벨이 없는 대규모 비디오 데이터셋을 활용한 다음, 액션 모듈을 위해 더 작은 라벨링된 데이터셋을 사용할 수 있습니다. 반면, 공동 모델링 (Joint modeling)은 전체 과정에서 비디오-액션 쌍 데이터를 필요로 하며, 이는 대부분의 실제 배포 환경에서 병목 현상 (bottleneck)이 됩니다.

일반화 프로필 (Generalization profiles)은 서로 다릅니다. 시각적 미래를 명시적으로 예측하는 모델은 단순히 행동 패턴을 암기하는 것이 아니라 장면의 물리 법칙 (physics)을 모델링해야 하므로, 새로운 객체와 장면에 대해 더 잘 일반화되는 경향이 있습니다. 특징 조건부 (Feature-conditioned) 및 보조적 (auxiliary) 접근 방식은 이러한 일반화 능력의 일부를 효율성과 맞바꿉니다.

실패 모드 (Failure modes)도 다릅니다. '상상 후 실행 (imagine-then-execute)' 방식에서의 실패는 시각적으로는 그럴듯해 보이지만 물리적으로는 불가능한 하위 목표 (subgoals)로 나타나는 경우가 많습니다. 공동 모델링 (joint modeling) 방식에서의 실패는 더 미묘한 경향이 있습니다. 즉, 모델이 내부적으로는 일관되지만 부정확한 예측을 생성할 수 있습니다. 어떤 패러다임을 사용하고 있는지 이해하면 실패 원인을 더 빠르게 진단하는 데 도움이 됩니다.

사전 학습된 비디오 백본 (Pretrained video backbones)은 실용적인 시작점입니다. 네 가지 패러다임 모두 비디오 구성 요소를 사전 학습된 모델로부터 초기화함으로써 이득을 얻습니다. 튜토리얼에서는 VLA 모델이 공간 인지 (spatial awareness)에 어려움을 겪는 이유가 바로 이러한 사전 지식 (prior)이 없기 때문이라고 지적합니다. 즉, 물리적 세계가 어떻게 진화하는지에 대한 중간 모델 없이 언어를 행동으로 바로 매핑하기 때문입니다.

여전히 어려운 점들

이 튜토리얼은 미해결 과제들에 대해 솔직하게 다루고 있습니다. 교차 신체 전이 (Cross-embodiment transfer) — 즉, 한 로봇에서 학습하여 다른 로봇에 배포하는 것 — 는 하드웨어마다 행동 공간 (action spaces)이 다르기 때문에 WAM에서도 여전히 어려운 과제로 남아 있습니다. 100,000시간 이상의 실제 궤적 (trajectories) 데이터로 학습된 Xiaomi-Robotics-1 VLA 모델은 강력한 스케일링 (scaling) 동작을 보여주지만, 새로운 신체 (embodiments)에 적용하기 위해서는 여전히 작업별 미세 조정 (fine-tuning)이 필요합니다.

장기 지평 (Long-horizon) 작업 또한 또 다른 도전 과제입니다. 다단계 조작 작업에 대해 일관된 30초 분량의 비디오를 생성하는 것은 2초 분량의 하위 목표를 생성하는 것보다 질적으로 더 어려우며, 오류는 시간 지평 (horizon)을 따라 누적됩니다. 현재의 WAM은 시각적 종결점이 명확하고 지평이 짧은 작업에서 최고의 성능을 발휘합니다.

마지막으로, 실시간 제약 조건 (real-time constraints)은 무시할 수 없는 요소입니다. 추론 (inference) 시점에 미래 프레임을 생성하는 것은 지연 시간 (latency)을 추가합니다. DreamZero의 7Hz 제어 속도는 인상적이지만, 물체를 잡거나 반응형 움켜쥐기 (reactive grasping)와 같은 동적인 조작 (manipulation) 작업에 필요한 30Hz 이상의 속도에는 여전히 미치지 못합니다.

결론 (Conclusion)

월드 액션 모델 (World Action Models, WAM) 프레임워크는 로봇 학습 연구자와 실무자들에게 그들의 시스템이 실제로 무엇을 수행하는지 설명할 수 있는 더 명확한 어휘를 제공합니다. 네 가지 패러다임 — 상상 후 실행 (imagine-then-execute), 특징 조건부 예측 (feature-conditioned prediction), 공동 모델링 (joint modeling), 보조 예측 (auxiliary prediction) — 은 각각 데이터 효율성 (data efficiency), 추론 비용 (inference cost), 일반화 (generalization) 사이의 트레이드오프 (trade-off) 공간에서 뚜렷한 지점을 차지합니다. 사전 학습된 비디오 모델 (pretrained video models)이 계속 발전하고 쌍을 이룬 로봇 데이터셋 (paired robot datasets)이 성장함에 따라, 공동 모델링 (joint modeling) 패러다임이 지배적인 접근 방식이 될 가능성이 높습니다. 현재로서는 보조 예측 (auxiliary prediction) 패러다임이 실행 시점의 추론 비용을 지불하지 않고도 WAM 스타일의 귀납적 편향 (inductive biases)을 배포할 수 있는 가장 실용적인 경로를 제공합니다.

전체 튜토리얼은 arXiv:2607.00836에서 확인할 수 있습니다. 로봇 데이터 수집 스케일링 (scaling robot data collection)에 관한 관련 연구는 Xiaomi-Robotics-1 논문과 DreamZero를 참조하십시오.