세계 모델(Weltmodelle)은 실제 환경을 3차원으로 재현하고 그 물리 법칙을 시뮬레이션하는 AI 시스템입니다. 이들은 로봇과 가상 제품 디자인을 위한 학습 데이터를 제공합니다. 뮌헨 공과대학교(TU München)의 Leonard Schmedding과의 인터뷰에서 Matthias Nießner 교수는 왜 이 기술이 ChatGPT 이후 AI의 다음 시대를 열 것인지 설명합니다.

Nießner는 40억 달러의 기업 가치와 500명 이상의 직원을 보유한 비디오 AI 유니콘 기업인 Synthesia의 공동 창립자입니다. 그는 이제 새로운 스타트업 SpAItial을 통해 공간 파운데이션 모델(Spatial Foundation Models)을 구축하고 있습니다. 이는 기업들에게 거대한 새로운 응용 분야를 열어줍니다.

세계 모델이 언어 모델과 다른 점

언어 모델(Language Model)은 텍스트를 입력받아 텍스트를 출력합니다. 이미지 모델(Image Model)은 텍스트를 입력받아 이미지를 제공합니다. SpAItial은 여기서 한 걸음 더 나아갑니다. 텍스트 프롬프트(Text-Prompt)로부터 완전한 3D 세계가 생성됩니다.

이 세계들은 실제처럼 보이고 실제처럼 작동합니다. 사용자들은 시뮬레이션된 물리 법칙과 상호작용합니다. Nießner의 목표는 급진적입니다. 시뮬레이션과 현실 사이에 더 이상 차이가 보이지 않게 만드는 것입니다.

시기적으로도 의도적인 선택입니다. Nießner는 SpAItial의 위치를 ChatGPT가 돌파구를 마련하기 4년 전의 상태와 동일하게 보고 있습니다. 기술은 거의 작동하지만 아직 완전히 완성되지는 않았습니다. 바로 이 순간이 스타트업을 흥미롭게 만듭니다.

왜 비디오가 세계 모델의 학습 데이터가 되는가

실제 3D 데이터는 부족합니다. 전 세계적으로 비디오 게임, 영화, 엔지니어링 모델을 포함하여 약 1,000만에서 2,000만 개의 장면만이 존재합니다. 이 정도 양은 파운데이션 모델(Foundation Models)을 구축하기에 결코 충분하지 않습니다.

그렇기 때문에 SpAItial은 비디오를 통해 학습합니다. 매일 수십억 개의 클립이 소셜 미디어에 올라옵니다. 다양한 각도에서 3D 점들을 삼각 측량(Triangulate)할 수 있습니다. 이를 통해 2D 비디오로부터 일관된 3D 세계가 생성됩니다.

이 원리는 AI의 규칙인 '규모가 전부다(Scale is everything)'를 따릅니다. 모델이 더 많은 비디오를 볼수록 더 복잡한 상관관계를 학습합니다. 비디오에서 펜이 떨어지면, 시스템은 중력을 학습합니다. 이러한 시간 흐름에 따른 대응 관계가 물리적 지식을 제공합니다.

가장 큰 시장으로서의 로보틱스: VLAs와 Sim-to-Real-Gap

Nießner에게 로보틱스는 그 무엇보다도 가장 큰 시장입니다. 동시에 가장 어렵고도 가장 멀리 떨어져 있는 분야이기도 합니다. 실제 로봇 데이터를 수집하는 것은 비용이 많이 들고 속도가 느립니다. 시뮬레이션(Simulations)에서의 가상 훈련은 이러한 비용을 획기적으로 낮춰줍니다.

여기서 SpAItial은 이른바 VLA(Vision-Language-Action) 모델과 만납니다. Vision-Language-Action 모델은 로봇의 다음 움직임을 예측합니다. SpAItial은 이를 위한 훈련 환경을 제공합니다. 고객이 자신의 로봇을 설명하면, 모델이 그에 적합한 데이터를 시뮬레이션합니다.

가장 큰 논쟁점은 여전히 Sim-to-Real-Gap입니다. 합성 데이터(Synthetische Daten)는 저렴하지만, 실제와 충분히 비슷해 보이지 않는 경우가 많습니다. Nießner의 답변은 명확합니다. 시뮬레이터는 물리 법칙을 수동으로 정의하는 대신, 데이터로부터 물리학을 학습해야 한다는 것입니다.

CAD부터 건축까지: 구체적인 응용 분야

로보틱스 외에도 건설 분야에 많은 가치가 있습니다. 오늘날 건축 사무소들은 종종 2D 평면도로만 작업합니다. SpAItial은 이를 통해 자동으로 걸어 다닐 수 있는 3D 시각화(3D-Visualisierungen)를 생성합니다. 구매자들은 마치 집이 이미 지어진 것처럼 집을 볼 수 있습니다.

CAD 분야에서 가장 큰 레버리지가 나타납니다. 자동차 제조사들에게 디자인은 가장 비용이 많이 드는 프로세스입니다. 가상 디자인은 개발 주기를 몇 달에서 몇 주로 단축합니다. 일부 제조사들은 여전히 점토(Ton)로 자동차 모델을 만들기도 합니다.

바로 이러한 비용이 많이 드는 단계들이 가상으로 대체됩니다. 팀들은 반사(Reflexionen)와 재료를 사전에 시뮬레이션합니다. 그 후에야 비로소 물리적인 제품이 만들어집니다. Nießner에 따르면 독일 엔지니어들은 놀라울 정도로 개방적인 반응을 보이고 있습니다.

클라우드인가 엣지인가: AI 모델이 실행되는 곳

오늘날 훈련은 완전히 클라우드(Cloud)에서 이루어집니다. 그곳에서 수천 개의 GPU가 오랜 기간 동안 작동합니다. 반면 추론(Inferenz)은 점점 더 장치로 이동하고 있습니다. Nießner는 미래가 명확하게 엣지(Edge), 즉 로컬에서 실행되는 AI에 있다고 보고 있습니다.

그 이유는 지연 시간 (Latency) 때문입니다. 지속적인 클라우드 연결은 로봇의 동작을 늦춥니다. 양자화 (Quantization) 및 증류 (Distillation)와 같은 기술은 모델의 크기를 줄입니다. Float 16이 Float 4가 되고, 거대 모델이 소형 모델로 변합니다.

소비자들에게 현재 제공되는 서비스는 데모 수준에 머물러 있습니다. Nießner의 팀은 MCP 서버를 통해 SpAItial을 Claude Code에 직접 연결합니다. 이를 통해 사용자는 프롬프트(Prompt)를 통해 자신만의 3D 세계를 생성할 수 있습니다. 하지만 실제 시장은 B2B 부문에 있습니다.

결론: 차세대 AI 시대로서의 세계 모델 (Weltmodelle)

세계 모델은 AI를 텍스트와 이미지에서 실제 공간으로 이동시킵니다. SpAItial은 로봇과 산업을 위한 데이터 공급업체로서 입지를 다지고 있습니다. Nießner는 범용 휴머노이드 로봇이 5년에서 10년 내에 등장할 것으로 예상합니다. 첫 번째 특수 목적 로봇은 이미 1~2년 안에 등장할 것입니다.

기업들에게 이 기술을 조기에 살펴보는 것은 가치가 있습니다. 지금 프로세스를 가상으로 테스트하는 기업은 나중에 실제 자본을 절약할 수 있습니다. 저희 팀은 이러한 단계를 적절한 AI 자동화 컨셉 (KI-Automatisierungs-Konzepten)으로 지원합니다. 세계 모델은 더 이상 먼 약속이 아니라, 다음 단계의 구체적인 행보입니다.

자주 묻는 질문 (FAQ)

AI에서 세계 모델 (Weltmodelle)이란 무엇인가요?

세계 모델은 실제 환경을 3차원으로 재현하는 AI 시스템입니다. 이들은 장면의 외관뿐만 아니라 물리 법칙 (Physics)까지 시뮬레이션합니다. 사용자는 이러한 세계를 돌아다니며 객체와 상호작용합니다. 목표는 현실과 거의 구별할 수 없는 시뮬레이션을 만드는 것입니다. Matthias Nießner 교수는 이를 언어 및 이미지 모델 이후의 차세대 AI 시대라고 부릅니다.

세계 모델은 대규모 언어 모델 (LLM)과 어떻게 다른가요?

대규모 언어 모델은 텍스트를 입력받아 텍스트를 출력합니다. 이미지 모델은 텍스트로부터 이미지를 생성합니다. 세계 모델은 여기서 더 나아가 프롬프트로부터 완전한 3D 세계를 생성합니다. 즉, 출력물이 더 이상 평면적이지 않고 공간적이며 탐험 가능한 형태가 됩니다. 이러한 3D 세계는 물리적으로 실제 환경처럼 작동하며 자유롭게 탐색할 수 있습니다.

로보틱스에 왜 세계 모델(Weltmodelle)이 필요한가?

로봇은 종종 수십억 개에 달하는 방대한 양의 학습 데이터(Training data)를 필요로 합니다. 이러한 데이터를 실제로 수집하는 것은 비용이 많이 들고, 속도가 느리며, 확장성(Scalability)을 확보하기 어렵습니다. 세계 모델은 가상 환경을 통해 훨씬 저렴한 비용으로 학습 환경을 제공합니다. 시뮬레이션(Simulation) 내에서 시각-언어-행동 모델(Vision-Language-Action models)은 필요한 움직임을 학습합니다. 이를 통해 업계는 모든 동작을 일일이 수동으로 기록하지 않고도 로봇 지능을 훈련할 수 있습니다.

Sim-to-Real-Gap이란 무엇인가?

Sim-to-Real-Gap은 시뮬레이션과 현실 사이의 간극을 설명하는 용어입니다. 합성 학습 데이터(Synthetic training data)는 저렴하지만, 실제와 충분히 유사해 보이지 않는 경우가 많습니다. 이 때문에 시뮬레이션에서 학습된 능력은 실제 로봇으로 전이될 때 제한적일 수밖에 없습니다. Nießner 교수의 해결책은 데이터로부터 물리학을 학습하는 더 나은 시뮬레이터입니다. 시스템은 직접 작성된 규칙 대신 수백만 개의 비디오로부터 지식을 추출합니다.

범용 휴머노이드 로봇은 언제 등장할 것인가?

Matthias Nießner 교수는 5년에서 10년 안에 범용 휴머노이드 로봇이 등장할 것으로 예상합니다. 첫 번째 특화된 로봇들은 이미 1~2년 안에 나타날 것입니다. 이들은 우선 명확하게 구분된 개별 작업들을 수행하게 됩니다. 현재는 모든 하드웨어를 각각 별도로 훈련시켜야 합니다. 로봇 간에 능력이 전이(Transfer)될 수 있게 될 때 비로소 진정한 범용 로봇이 탄생할 것입니다.