2026년의 AI 주변 화제의 중심이 조금 바뀌었습니다. 작년까지는 "화면 속에서 얼마나 똑똑하게 답할 수 있는가", "그림이나 영상을 얼마나 아름답게 만들 수 있는가"가 주역이었다면, 지금은 점점 "그 AI, 물리 세계에서 제대로 움직일 수 있는가?" 쪽으로 기울고 있습니다.

작년까지 "AI에게 그림을 그리게 하기"로 분위기가 달아올랐는데, 이제는 "AI에게 세계를 만들게 하기"라고 합니다. 너무 빠르지 않나요?

이 기사는 해외 기술 미디어, 연구 논문, 각사의 공식 발표를 여러 개 비교하며 읽고, 그대로 번역하는 것이 아니라 일본 엔지니어를 위해 나름대로 재구성한 것입니다. 로봇 전문 이야기처럼 보일 수 있지만, 생성 AI (Generative AI)를 평소 사용하고 있는 사람이라면 상당히 연결된 맥락으로 이해할 수 있습니다.

이 기사에서 알 수 있는 내용은 대략 다음 세 가지입니다.

• 피지컬 AI (Physical AI / 물리 세계에서 움직이는 AI)와 생성 AI의 차이
• 세계 모델 (World Model / 세계를 내부에 가진 모델)이 무엇을 하고 있는가
• 현재 실용에 가까운 부분과, 아직 전혀 힘든 부분

フィジカルAIとは：AIが画面の外に出はじめた

피지컬 AI는 생성 AI와 무엇이 다른가

피지컬 AI (Physical AI / 물리 세계에서 움직이는 AI)는 텍스트나 이미지를 내보내고 "네, 완성"으로 끝나는 AI가 아닙니다. 카메라 등으로 주위를 지각하고, 상황을 추론하며, 그 위에 물리 세계에 대해 행동하는 부분까지를 담당 범위로 하는 AI입니다.

생성 AI (문장이나 이미지를 만드는 AI)와의 가장 큰 차이점은, 출력의 정답이 "그럴듯한가"가 아니라 "물리적으로 가능한가"로 결정된다는 점입니다.

문장이라면 다소 이상한 말투라도 "뭐, 의미는 통하네" 하고 넘어갈 수 있는 경우가 있죠. 이미지도 배경의 소품이 조금 수상한 정도라면 눈감아줄 수 있을지도 모릅니다. 하지만 로봇의 팔은 그렇지 않습니다. 물리 법칙을 벗어나면 그냥 물건을 떨어뜨립니다. 책상 위에 놓으려 했는데, 책상을 뚫고 지나가는 세계를 믿고 움직인다면 곤란하겠죠.

이 흐름에 대해, theCUBE Research의 수석 애널리스트인 Krista Case(크리스타 케이스) 씨는 2026년 7월 7일 Machina AI Summit에서 "AI의 화제는 디지털 어시스턴트나 소프트웨어 자동화를 넘어, 물리 세계를 지각하고, 추론하며, 행동하는 시스템으로 확장되고 있다"라고 말했습니다.

즉, 지금까지의 AI가 "화면 속에서 도와주는 파트너"였다면, 피지컬 AI는 "현실 세계에서 손을 움직이는 파트너"에 가까워지고 있다는 뜻입니다.

그리고 이 피지컬 AI의 심장부로서 자주 등장하는 것이 바로 세계 모델 (World Model / 세계를 내부에 가진 모델)입니다.

生成AIとフィジカルAIの違い：正解が「もっともらしいか」か「物理的にありえるか」か

세계 모델 (World Model)이란 결국 무엇인가

세계 모델이란 AI가 "물리 세계의 내부 표현"을 가지고 있는 상태를 말합니다. 조금 더 쉽게 풀어서 설명하자면, AI의 내부에 "이 세계는 이렇게 움직이지"라는 미니어처 버전의 세계를 갖게 하는 이미지입니다.

여기서 말하는 세계에는 다양한 요소가 들어갑니다. 공간, 시간, 물리 법칙, 인과 관계, 그리고 물체의 영속성입니다. 물체의 영속성이란, 예를 들어 공이 상자 뒤로 숨어서 보이지 않게 되어도 "사라진" 것이 아니라 "거기에 계속 존재한다"라고 생각하는 감각을 말합니다. 인간에게는 너무나 당연한 것이지만, AI에게는 상당히 중요한 능력입니다.

世界モデルが内側に持っているもの：空間・時間・物理法則・因果関係・物体の永続性

동영상 생성 AI와의 결정적인 차이는, 세계 모델이 "인터랙티브하며, 행동에 조건 지어져 있다"는 점입니다.

보통의 동영상 생성은 프롬프트를 넣으면 정해진 영상을 끝까지 만듭니다. 도중에 사용자가 오른쪽으로 꺾거나, 문을 열거나, 물건을 미는 것을 전제로 하지 않습니다. 수동적인 영상입니다.

반면 세계 모델은 사용자의 조작에 응하여 그 자리에서 다음 프레임을 만듭니다. 오른쪽을 보면 오른쪽 풍경이 나옵니다. 앞으로 나아가면 안쪽 공간이 가까워집니다. 무언가를 움직이면 그 결과로서 세계가 변합니다. 즉 "보는 영상"이 아니라 "만지는 세계"에 가깝습니다.

다만, 세계 모델이라고 한데 묶어 말해도 그 내용은 상당히 제각각입니다. Themesis에서는 크게 5가지 유파가 있다고 정리되어 있습니다.

첫 번째는 Transformer (트랜스포머 / 시계열 데이터를 다루는 딥러닝 방식) 기반의 생성형입니다. Google DeepMind의 Genie 3가 대표적이며, 프레임을 한 장씩 자기회귀적 (Autoregressive)으로 만들어 나갑니다. 자기회귀란 이전의 출력을 보면서 다음을 순차적으로 만드는 방식을 말합니다.

두 번째는 가우시안 스플래팅 (Gaussian Splatting) 방식입니다. World Labs의 Marble이 이 타입에 해당하며, 텍스트나 이미지로부터 3D 장면을 만들어 이를 내보내어 사용할 수 있습니다. 다만, 물체 그 자체에 물리 지식이 내장되어 있는 것은 아니며, "본질적으로 정적(static)"이라는 지적도 있습니다.

세 번째는 JEPA 계열 (Joint Embedding Predictive Architecture / 공동 임베딩 예측 아키텍처)입니다. Yann LeCun (얀 르쿤)의 노선으로, 픽셀 그 자체가 아니라 잠재 공간 (Latent Space / 압축된 의미의 공간)에서 예측합니다.

네 번째는 AXIOM (Verses.ai)입니다. Karl Friston (칼 프리스턴)의 능동적 추론 (Active Inference) 프레임워크를 사용하여, 장면을 "물체의 조합"으로 모델링합니다.

다섯 번째는 뉴로심볼릭 (Neuro-symbolic / 신경 기호) 방식입니다. 기호 추론 (Symbolic Reasoning)과 신경망 (Neural Network)의 융합으로, 다섯 가지 중 가장 미성숙한 단계로 여겨집니다.

여기서 기억해 두어야 할 점은, "세계 모델 (World Model)"이라는 같은 용어를 사용하고 있더라도 그 내부에서 수행하는 작업은 완전히 다르다는 것입니다. 라면이라고 해도 간장, 된장, 돈코츠로 맛이 상당히 다른 것과 비슷합니다. 거친 비유지만 꽤 적절한 비유입니다.

주요 3인방 비교하기 (Genie 3 / Marble / Cosmos)

현재 세계 모델 주변에서 자주 언급되는 것은 Genie 3, Marble, Cosmos입니다. 방향성이 상당히 다르므로 우선 나란히 놓고 살펴보겠습니다.

Genie 3 / Marble / Cosmos の比較：触らせない、売る、配る

Genie 3는 2025년 8월에 발표되었습니다. 720p·24fps (초당 24프레임)로, 텍스트나 이미지로부터 조작 가능한 3D 공간을 실시간으로 생성하는 모델입니다. 방식은 자기회귀 (Autoregressive) 타입으로, 한 프레임씩 순차적으로 만듭니다. 물리는 직접 작성한 규칙이 아니라 학습을 통해 습득한 것입니다.

기억은 약 1분 분량의 "되돌아보기"까지 가능합니다. 몇 분간의 조작까지는 일관성을 유지할 수 있지만, 그 이상은 무너집니다.

일반 사용자 대상으로는 "Project Genie"라는 이름으로 2026년 1월 29일에 공개되었습니다. 다만, 미국의 최상위 플랜인 Google AI Ultra 가입자에 한하며, 18세 이상으로 제한되고 법인용 플랜은 대상에서 제외됩니다. 또한, 하나의 월드는 60초까지입니다. 접할 수 있는 사람이 상당히 제한적이네요.

Google 公式ブログの Project Genie 発表ページ

출처: Google (Project Genie: AI world model now available for Ultra users in U.S.)

Google 스스로도 공식 블로그를 통해 한계를 인정하고 있습니다. 생성된 월드가 완전히 실제와 똑같지는 않으며, 프롬프트나 이미지, 현실의 물리 법칙에 반드시 충실하지 않을 수도 있다는 취지입니다. 또한 캐릭터의 조작성이 떨어지거나 지연 (Latency)이 증가할 수 있으며, 2025년 8월에 발표된 promptable events (탐색 중에 월드를 동적으로 변화시키는 기능)는 이 프로토타입에 아직 포함되지 않았습니다.

약점으로는 글자 묘사가 서툴고, 실제 장소의 지리적 정확성이 없으며, 다수의 에이전트가 얽히는 복잡한 상황이나 물리 조작에 거의 대응하지 못한다는 점, 그리고 행동이 "이동" 중심으로 선택지가 적다는 점 등이 지적되고 있습니다.

Marble은 World Labs의 모델입니다. Fei-Fei Li (페이페이 리)의 회사죠. 2025년 11월에 상용 출시되었으며, 텍스트, 사진, 영상, 3D 레이아웃, 파노라마 이미지로부터 3D 환경을 만들 수 있습니다.

가우시안 스플래팅을 사용하여 Unreal Engine이나 Unity로 내보낼 수 있습니다. Vision Pro나 Quest 3에서도 볼 수 있습니다. 게임이나 영상 제작의 프로토타이핑에는 상당히 명확한 방향성을 제시합니다.

요금은 무료가 월 4회 생성, Standard가 월 20달러에 12회 생성, Pro가 월 35달러에 25회 생성, Max가 월 95달러에 75회 생성입니다. Pro는 상업적 이용이 가능합니다. 출시 전까지 약 12개월 동안 2억 3,000만 달러를 조달했습니다. 다만, 자체 호스팅 (Self-hosting)은 불가능합니다.

Cosmos는 NVIDIA가 2025년 CES에서 발표한 것입니다. 가장 큰 특징은 오픈 웨이트 (Open Weights / 가중치 공개) 모델로, 자신의 서버에서 구동할 수 있다는 점입니다. 2026년 1월 기준으로 다운로드 200만 회를 기록했습니다. 학습 데이터는 실제 세계의 영상 2,000만 시간 분량, 9,000조 토큰입니다.

계층은 Nano(에지용), Super(표준), Ultra(최고 품질)의 3가지로 나뉩니다. 채택 기업으로는 1X, Agility, Figure AI, Waabi, XPENG, Uber 등의 이름이 거론되고 있습니다. 로봇 및 차량 관련 기업들이네요.

2026년 1월 5일에는 NVIDIA가 Cosmos Transfer 2.5, Cosmos Predict 2.5, Cosmos Reason 2, Isaac GR00T N1.6을 발표했습니다. 동시에 Jetson T4000 모듈도 출시했습니다. 이는 1,200 FP4 TFLOPS, 메모리 64GB, 소비 전력 70W이며, 1,000대 로트(lot) 기준 1,999달러로 이전 세대보다 4배 높은 성능을 제공합니다. 파트너사로는 Boston Dynamics, Caterpillar, LG Electronics, NEURA Robotics 등이 있으며, 이들은 신형 로봇을 선보였습니다.

NVIDIA のフィジカルAIモデル発表プレスリリース

출처: NVIDIA Newsroom (NVIDIA Releases New Physical AI Models as Global Partners Unveil Next-Generation Robots)

나아가 2026년 6월에는 논문 「Cosmos 3」가 공개되었습니다. arXiv에 6월 1일 투고되어 6월 23일에 업데이트되었습니다. 언어, 이미지, 영상, 음성, 행동 시퀀스를 하나의 mixture-of-transformers (여러 전문 트랜스포머를 혼합한 구성)로 통합한 것으로, Artificial Analysis 랭킹에서 오픈 소스 텍스트→이미지 및 이미지→영상 분야 모두 1위를 차지했으며, RoboArena라는 벤치마크에서 최상의 정책 모델(policy model)로 평가받고 있습니다. 코드, 체크포인트, 합성 데이터셋, 평가 벤치마크는 Linux Foundation의 OpenMDW-1.1 라이선스로 공개되어 있습니다.

「실시간 24fps」를 그대로 믿으면 큰코다친다

이 부분은 매우 중요합니다. 세계 모델(World Model)의 데모를 보면 "오, 실시간으로 움직이네!"라고 생각하기 쉽지만, 실제로 직접 비슷한 것을 구동하려고 하면 상당히 곤혹스러운 상황에 직면하게 됩니다.

세계 모델은 비슷한 규모의 LLM (Large Language Model / 대규모 언어 모델)에 비해 8~32배 더 많은 GPU 연산을 소모하는 것으로 알려져 있습니다. 이렇게 무거운 이유는 주의 집중 메커니즘 (attention / 어떤 정보에 집중할지 결정하는 구조)이 한 프레임 내의 공간과, 그 이전의 모든 프레임이라는 시간 축 모두에 걸쳐 확장되기 때문입니다.

한 프레임 안에도 가로×세로의 패치(patch)가 존재합니다. 여기에 과거 프레임까지 참조해야 합니다. 즉, "현재 이미지의 어느 부분을 볼 것인가"와 "과거의 어느 시점을 볼 것인가"를 동시에 처리해야 합니다. 주의 집중(attention) 그리드는 일반적인 LLM의 컨텍스트 윈도우 (context window / 한 번에 참조할 수 있는 범위)보다 약 3배 더 큰 규모를 가집니다.

게다가 LLM에서 효과적인 KV 캐시 (KV cache / 계산 결과 재사용) 최적화도 적용하기 어렵습니다. 문장 생성의 경우 "이전에 계산한 키(key)와 값(value)을 재사용하자"는 방식이 용이하지만, 세계 모델은 공간과 시간이 얽혀 있어 그렇게 단순하게 처리할 수 없습니다.

또한, 해상도가 480p를 넘어서는 시점부터 병목 현상이 연산 속도에서 메모리 대역폭(memory bandwidth)으로 이동합니다. 메모리 대역폭이란 간단히 말해 GPU가 데이터를 얼마나 빠르게 읽고 쓸 수 있는지를 의미합니다. 연산 장치가 아무리 빨라도 데이터가 제때 전달되지 않으면 기다릴 수밖에 없는 구조입니다.

Spheron의 측정 결과에 따르면 상당히 현실적인 수치가 나타나고 있습니다.

LLMと世界モデルの必要VRAM・帯域・スループット比較表

출처: Spheron (GPU Infrastructure Behind World Models: What Powers Genie 3, Marble, and Real-Time Interactive AI (2026 Guide))

• 7B LLM, FP16 (16비트 부동 소수점)
  VRAM (GPU용 메모리) 14GB, 필요 대역폭 약 0.5TB/s, H100 기준 초당 약 200 토큰
• 720p 세계 모델
  VRAM 80GB, 필요 대역폭 약 2.53TB/s, H100 기준 "1프레임당 23초"
• 1080p 세계 모델
  VRAM 160GB 이상. H100 1장으로는 메모리 부족으로 구동 불가

여기서 "어? 분명 720p, 24fps라고 하지 않았나?"라는 의문이 드실 겁니다. 실제로 그렇습니다.

실측된 유효 프레임 레이트(effective frame rate)는 H100 SXM5에서 약 0.4fps, H200 SXM5에서 약 0.6fps, B200 SXM6에서 약 1.1fps입니다. 24fps의 실시간 성능에는 전혀 미치지 못합니다.

H200에서 24fps의 영상을 1분 분량, 즉 1,440프레임을 만드는 데에는 GPU 시간으로 약 40분이 걸립니다. '실시간'이라는 단어에서 상상하는 경험과는 상당히 거리가 있죠.

비용 측면도 살펴보면, H100 PCIe는 1시간에 2.01달러로 영상 0.75분 분량, 즉 1분당 2.68달러입니다. H200 SXM5는 1시간에 4.84달러로 1.5분 분량, 1분당 3.23달러입니다. B200 SXM6는 1시간에 7.41달러로 2.75분 분량, 1분당 2.69달러입니다.

흥미로운 점은 시간당 단가가 높은 B200이 처리량(Throughput)이 높은 만큼 1분당 비용은 더 저렴해지는 역전 현상이 일어나고 있다는 것입니다. 비싼 장비를 사용하는 것이 결과적으로 더 저렴해지는, 지갑에 이로운 건지 해로운 건지 알 수 없는 이야기입니다.

단, 여기에는 중요한 주의 사항이 있습니다. Genie 3의 '실시간 24fps'와 Spheron의 0.4fps라는 숫자는 모순되지 않습니다.

전자는 자기회귀형(Autoregressive) 모델과 전용 인프라에 관한 이야기입니다. 후자는 직접 구동하는 확산(Diffusion/노이즈를 조금씩 제거하며 생성하는 방식) 기반 모델을 GPU 1장에서 돌렸을 때의 이야기입니다. 확산형은 1프레임당 20~50회의 노이즈 제거 과정을 거치기 때문에 품질은 높지만 느립니다.

따라서 '내 손안에서 Genie 3 같은 것이 돌아간다'고 생각하면 그 격차에 깜짝 놀랄 것입니다. 데모의 매끄러움과 직접 구동할 때의 무거움은 일단 분리해서 보는 것이 좋습니다.

추론(Inference) 1회 요청당 필요한 GPU 매수도 다릅니다. LLM이 18매인 것에 반해, 세계 모델(World Model)은 832매가 기준입니다. 가벼운 검증을 하려다가 갑자기 대규모 실험이 되어버리는 상황이죠.

数字で見る「重さ」：8〜32倍、VRAM 80GB、実効0.4fps

그럼 현장에서는 어디에 사용하는가

그렇다면 세계 모델이나 피지컬 AI(Physical AI)는 현장에서 어디에 사용될까요? 우선 이해하기 쉬운 것은 로봇입니다.

로봇 분야에서는 실제 기기를 파손하지 않고 합성 데이터(Synthetic Data)를 대량으로 만들 수 있습니다. 실제 로봇을 반복해서 움직이며 실패하게 만드는 것은 시간과 비용이 많이 들 뿐만 아니라 위험할 수도 있습니다. 그래서 세계 모델 상에서 다양한 상황을 만들어내고, 방책(Policy/로봇의 움직임 설계)을 실제 세계에 내보내기 전에 안전하게 테스트하는 것입니다.

자율주행에서도 쓰임새가 있습니다. 좀처럼 일어나지 않는 희귀 사례(Edge Case)를 시뮬레이션으로 만들 수 있기 때문입니다. 실례로, 2026년 2월에 Waymo가 Genie 3를 채택하여 자율주행 시뮬레이션용 전용 세계 모델인 'Waymo World Model'을 만들고 있습니다. 현실에서 좀처럼 모으기 힘든 케이스를 시뮬레이션 측에서 보완하는 방향입니다.

게임이나 영상 제작에서도 궁합이 상당히 좋아 보입니다. 인터랙티브한 세계를 고속으로 프로토타이핑할 수 있습니다. VR이나 영화를 위해 먼저 만져볼 수 있는 공간을 만들어 보는 방식입니다.

과학 연구에서는 재료나 분자 역학 등 물리 계통의 시뮬레이션과 관련이 있습니다. 이 부분은 화려한 데모와는 다른 방향이지만, 물리를 다룰 수 있는 모델이라는 점에서는 자연스러운 응용 분야입니다.

당분간 가장 현실적인 격전지로 여겨지는 곳은 산업용 로봇입니다. 공장은 작업이 구조화되어 있습니다. 인력 부족 문제도 명확합니다. 그리고 자동화의 투자 대비 효과(ROI)를 측정하기 쉽습니다. 2026년 7월 7일의 Machina AI Summit에서도 이 부분이 논의되었습니다. 등장한 기업으로는 Path Robotics, Boston Dynamics, Skild AI, Neura Robotics 등이 있습니다.

여기서 업계 측에서 나오는 분위기는 "데모는 화려하지만, 중요한 것은 실전에서 작동하느냐이다"입니다. 정말 공감 가는 이야기죠. 영상으로 화제가 되는 로봇과 공장에서 매일 멈추지 않고 일하는 로봇은 평가 기준이 상당히 다릅니다.

최근의 움직임으로는, 2026년 7월 8일에 Mistral AI가 'Robostral Navigate'라는 로봇용 내비게이션 모델을 발표했습니다. Bloomberg 보도에 따르면, 카메라 1대와 간단한 언어 지시만으로 로봇이 복잡한 환경을 이동할 수 있다고 합니다. 이 또한 피지컬 AI가 실제 세계의 이동이나 작업으로 다가오고 있는 흐름 중 하나입니다.

現場での使いどころ：ロボット・自動運転・ゲーム映像・産業ロボット

돈이 얼마나 움직이고 있는가

기술 트렌드를 볼 때, 돈의 흐름도 상당히 정직합니다. 피지컬 AI 영역에는 이미 상당히 큰 자금이 유입되고 있습니다.

2025년 8월부터 2026년 7월까지 12개월 동안, 피지컬 AI 영역은 공개된 자료 기준으로 32건, 총 87.3억 달러를 조달했습니다. 데이터는 2026년 7월 13일 기준입니다. 월평균 2.91건 페이스이므로, 거의 매달 어딘가에서 대규모 자금 조달이 일어나고 있는 느낌입니다.

건당 평균은 2억 7,270만 달러, 중앙값은 1억 1,250만 달러입니다. 평균값이 상당히 크기 때문에, 일부 대형 라운드(Round)가 전체를 견인하고 있는 것을 알 수 있습니다.

대형 라운드 상위권을 살펴보면, NEURA Robotics가 14억 달러로 2026년 6월 유럽에서 발생했습니다. Skild AI도 14억 달러로 2026년 1월 북미에서 발생했습니다. Figure AI는 10억 달러로 2025년 9월 북미에서 발생했습니다. Mind Robotics는 2026년 3~5월에 총 9억 달러를 조달했습니다. Physical Intelligence는 2025년 11월 북미에서 6억 달러를 조달했습니다.

フィジカルAI領域の資金調達リスト（企業・カテゴリ・時期・ラウンド・金額・地域）

출처: New Market Pitch (Physical AI Startup Funding (2026))

집중도도 높습니다. 상위 10건이 총액의 78.8%, 상위 5건이 56.1%를 차지하고 있습니다. 넓고 얕게 투자하기보다는, 승산이 있어 보이는 곳에 과감하게 베팅하고 있는 분위기입니다.

지역별로는 북미가 60.5억 달러로 21건, 전체의 69.4%를 차지합니다. 유럽은 20.4억 달러로 6건, 23.3%입니다. 아시아 태평양은 6.387억 달러로 5건, 7.3%입니다.

카테고리별로는 로봇 파운데이션 모델(Robot Foundation Model)이 39.2억 달러로 44.9%, 범용 로봇(General-purpose Robot)이 28.5억 달러로 32.7%, 휴머노이드(Humanoid)가 14.9억 달러로 17.1%입니다. 눈에 띄기 쉬운 휴머노이드뿐만 아니라, 토대가 되는 로봇 파운데이션 모델에도 상당한 자금이 투입되고 있다는 점이 포인트입니다.

세계 모델(World Model) 관련 개별 움직임으로는, Tripo AI가 3D 및 세계 모델 강화를 위해 추가로 1.5억 달러를 조달했습니다.

또 다른 방향의 자금 흐름으로는, 2025년 12월 Meta를 떠난 Yann LeCun이 설립한 AMI Labs가 있습니다. 제품을 출시하기 전 단계임에도 기업 가치 30억 유로를 인정받으며 5억 유로를 조달했습니다. 거점은 파리로, 2026년 1월까지 설립되었습니다. I-JEPA 연구를 기반으로 하며, CEO는 Alex LeBrun입니다.

이렇게 보면, 피지컬 AI는 '연구실의 미래 기술'이라기보다 이미 자금 측면에서 상당히 큰 산업 테마가 되었습니다. 다만, 그만큼 기대치도 너무 높아지기 쉬우므로 기술의 현재 위치를 냉정하게 바라볼 필요가 있습니다.

아직 전혀 되지 않는 것들

여기까지 읽으면 세계 모델이 이제는 거의 무엇이든 할 수 있을 것처럼 보일지도 모릅니다. 하지만 아직 전혀 되지 않는 일들도 많습니다.

우선, 물체가 사라집니다. 긴 시간축(Time axis)에서는 물리 법칙이 깨지는 현상도 발생합니다. 짧은 데모에서는 그럴싸해 보여도, 길게 움직이다 보면 "어라, 아까 그 물건 어디 갔지?"라거나 "그 움직임은 물리적으로 이상하지 않아?" 같은 문제가 나타납니다.

학습에 필요한 영상 데이터와 계산 자원(Computing resources)도 차원이 다르게 무겁습니다. 참고로, 영상 데이터는 1시간 분량에 비압축 시 100GB를 넘습니다. 이를 대량으로 다루려면 페타바이트(PB)급 스토리지와 높은 처리량(High throughput)의 액세스가 필요합니다. 모델뿐만 아니라 데이터 저장소와 읽기 작업도 상당히 힘든 일입니다.

나아가, "세상을 이해하고 있는가"를 측정할 공통 벤치마크(Benchmark)가 아직 존재하지 않습니다. 이 점이 은근히 큰 영향을 미칩니다. 공통된 척도가 없으면 각 기업이 "우리는 세상을 이해할 수 있습니다"라고 말해도, 나란히 놓고 비교하기가 어렵습니다. 데모 영상만으로 판단하는 것은 상당히 위험할 수 있습니다.

시뮬레이션에서 현실로 옮길 때 발생하는 격차, 이른바 sim-to-real(시뮬레이션에서 실세계로의 전환) 문제도 미해결 상태입니다. 시뮬레이션에서는 잘 작동하던 로봇이 현실에서는 바닥의 마찰이나 조명, 센서 노이즈 때문에 실패할 수 있습니다. 이 차이를 어떻게 메울지는 피지컬 AI에게 있어 매우 큰 과제입니다.

Genie 3 측의 제약 사항도 그대로 남아 있습니다. 하나의 월드는 60초까지이며, 미국에서만 가능합니다. 행동 선택지도 적습니다. 실시간으로 접할 수 있는 세상이라는 임팩트는 강하지만, 실제 프로덕션(Production)에서 자유롭게 사용할 수 있는 단계와는 아직 거리가 있습니다.

まだ全然できていないこと：物が消える・データが重い・共通ベンチが無い・sim-to-realの壁

한마디로 요약하자면, "데모는 작동하지만, 프로덕션은 이제부터"입니다. 상당히 기대할 만하지만, 지금 당장 무엇이든 맡길 수 있는 마법은 아닙니다. 이 점을 오판하면 도입 검토 단계에서 꽤 고생할 수 있습니다.

요약

피지컬 AI는 화면 속에서 답하는 것을 넘어, 물리 세계를 지각하고 추론하며 행동하는 AI입니다. 그 토대가 되는 세계 모델은 AI 내부에 "세상이 움직이는 방식"을 갖게 하는 개념입니다.

지금 당장 직접 돌려볼 수 있는 것이라기보다는, 향후 1~2년 내에 영향력을 발휘할 토대로 보고 두는 것이 좋아 보입니다. 직접 체험해보고 싶다면, 오픈 웨이트 (Open-weight) 모델인 Cosmos를 로컬에서 테스트해 볼 수 있습니다. 다만 GPU 사양은 각오해야 합니다. Marble의 경우 월 4회 생성 가능한 무료 티어가 있으므로, 우선 분위기를 파악하기에는 접근하기 쉬울 것입니다.

참고한 기사

• Project Genie: AI world model now available for Ultra users in U.S. (Google 공식 블로그)
• NVIDIA Releases New Physical AI Models as Global Partners Unveil Next-Generation Robots (NVIDIA Newsroom)
• Cosmos 3: Omnimodal World Models for Physical AI (arXiv)
• World Models Race 2026 (Introl)
• GPU Infrastructure Behind World Models (Spheron)
• World Models: Five Competing Approaches (Themesis)
• Physical AI Startup Funding 2026 (New Market Pitch)
• Industrial robotics becomes physical AI's proving ground (SiliconANGLE)
• World Models 2026: Google, NVIDIA & LeCun Build AI That Understands Physics (AI.cc)
• Mistral AI Releases Robotics Model to Support Physical AI Push (Bloomberg)

Discussion