World Action Models: 체화된 AI의 다음 개척지

요약

World Action Models (WAMs)는 기존 Vision-Language-Action (VLA) 모델이 가진 한계점(환경 역학 예측 부족)을 극복하기 위해 등장한 새로운 패러다임입니다. WAMs는 예측 상태 모델링과 행동 생성을 통합하여, 단순히 행동만을 생성하는 것이 아니라 미래 상태와 행동에 대한 공동 분포를 목표로 하는 체화된 파운데이션 모델입니다. 본 문서는 WAMs의 개념을 공식적으로 정의하고, 관련 아키텍처 및 학습 방식을 구조화된 분류 체계(순차적/공동)로 정리하며, 데이터 생태계 분석과 새로운 평가 프로토콜까지 제시하여 이 분야의 지형도를 종합적으로 제공합니다.

핵심 포인트

• WAMs는 VLA 모델이 놓치는 환경 역학 예측 능력을 통합한 체화된 파운데이션 모델이다.
• WAMs는 미래 상태와 행동에 대한 공동 분포(joint distribution)를 목표로 하며, 단순 행동 생성 이상의 기능을 수행한다.
• 관련 방법론은 '순차적(Cascaded)' WAMs와 '공동(Joint)' WAMs라는 구조화된 분류 체계로 정리된다.
• 이 서베이는 로봇 원격 조작부터 인터넷 비디오까지 아우르는 데이터 생태계를 분석하고, 시각적 충실도 및 물리적 상식 기반의 평가 프로토콜을 제시한다.