World Action Models: 체화된 AI의 다음 개척지

Vision-Language-Action (VLA) 모델은 체화된 정책 학습에서 강력한 의미론적 일반화 능력을 달성했지만, 물리 세계가 개입에 따라 어떻게 진화하는지를 명시적으로 모델링하지 않고 반응적인 관찰-행동 매핑을 학습합니다. 점점 더 많은 연구들이 환경 역학의 예측 모델인 월드 모델(world models)을 행동 생성 파이프라인에 통합함으로써 이러한 한계점을 다루고 있습니다. 우리는 이 새로운 패러다임을 World Action Models (WAMs)라고 명명합니다. WAMs는 예측 상태 모델링과 행동 생성을 통합하여, 단순히 행동만을 목표로 하는 것이 아니라 미래 상태와 행동에 대한 공동 분포(joint distribution)를 목표로 하는 체화된 파운데이션 모델입니다. 하지만 관련 문헌은 아키텍처, 학습 목표, 응용 시나리오 전반에 걸쳐 파편화되어 있어 통일된 개념적 프레임워크가 부족합니다. 우리는 WAMs를 공식적으로 정의하고 관련 개념들과 차별화하며, 이 패러다지를 탄생시킨 VLA 및 월드 모델 연구의 기초와 초기 통합 과정을 추적합니다. 기존 방법들을 순차적(Cascaded) WAMs와 공동(Joint) WAMs라는 구조화된 분류 체계로 정리하고, 이를 생성 양식(generation modality), 조건화 메커니즘(conditioning mechanism), 행동 디코딩 전략(action decoding strategy)에 따라 추가적으로 세분화합니다. 우리는 로봇 원격 조작, 휴대용 인간 시연, 시뮬레이션, 인터넷 규모의 자기 중심 비디오를 아우르는 WAMs 개발을 촉진하는 데이터 생태계를 체계적으로 분석하고, 시각적 충실도(visual fidelity), 물리적 상식(physical commonsense), 행동 개연성(action plausibility)을 중심으로 구성된 새로운 평가 프로토콜들을 종합합니다.

전반적으로 이 서베이는 WAM(World Action Models) 분야의 지형을 체계적으로 설명하고, 주요 아키텍처 패러다임과 그 트레이드오프를 명확히 하며, 급변하는 이 분야의 개방된 과제와 미래 기회를 식별합니다.