지금의 AI는 언어의 천재다.

논문을 요약한다. 코드를 작성한다. 시를 만든다. 어려운 시험에 합격한다.

하지만, 책상 위의 컵을 손으로 건드렸을 때 물이 어느 방향으로 흐를지. 그것을 '알고 있는' AI는, 그 광경을 머릿속에서 '보고' 있지 않다. 단어로 알고 있을 뿐이다.

이 차이를 메우러 가는 것이, 지금 'LLM의 다음'이라 불리는 월드 모델(World Model)이다.

먼저, 그것이 무엇인지부터 먼저 정리하자. 이야기는 그다음이다.

한 마디로 말하겠다.

월드 모델은 머릿속에 세계의 시뮬레이터(Simulator)를 가진 AI다.

LLM이 다음에 올 '단어'를 예측하는 것에 반해, 월드 모델은 다음에 일어날 '세계의 상태'를 예측한다. 지금 눈앞이 이렇게 되어 있고, 내가 이렇게 움직이면, 다음에 세계는 어떻게 변할 것인가. 그것을 내부에서 돌려보며 앞을 내다본다.

인간은 당연하게 이것을 하고 있다.

컵에 손이 닿는다. 컵이 쓰러져 물이 쏟아지는 영상이 아주 잠깐 머릿속을 스친다. 그렇기에 쏟아지기 전에 손을 멈출 수 있다. 이 '앞을 예견하는 내면의 영상'을 AI에게 갖게 하려는 것이 바로 월드 모델이다.

LLM과의 차이를 표로 정리하면 다음과 같다.

또 하나, 혼동하기 쉬운 것과 구분해 두자. 이미지 생성 AI는 '그림'을 출력한다. 월드 모델은 '그림'이 아니라 '결과'를 출력한다. 그 안에 자신이 들어가 움직이면, 움직인 만큼 세계가 응답한다. 정지 영상과는 그 점이 결정적으로 다르다.

이것이 월드 모델이다. 여기서부터는 왜 이것이 'LLM의 다음'이라며 떠들썩한지에 대한 이야기로 이어진다.

흥미로운 점은, 최근 1년간의 움직임이 예사롭지 않다는 것이다. AI 업계의 거물 3명이 약속이라도 한 듯 같은 곳을 바라보았다.

얀 르캉(Yann LeCun). Meta의 수석 과학자이자 딥러닝(Deep Learning)으로 튜링상(Turing Award)을 받은 사람이다. 그는 2025년 11월에 Meta를 떠난다고 발표했으며, 2026년 3월에 AMI Labs라는 신생 회사를 설립했다. 시드(Seed) 단계에서 조달한 금액은 약 10.3억 달러다. 유럽 역사상 최대 규모의 시드 라운드다. 투자자로는 NVIDIA, 삼성, 제프 베이조스, 에릭 슈미트, 팀 버너스 리가 이름을 올렸다. (Optima VC)

그가 걸고 있는 것은 LLM이 아니다. 월드 모델이다.

페이페이 리(Fei-Fei Li). ImageNet을 만들고 스탠퍼드에서 AI를 가르쳐온 사람이다. 그녀의 World Labs는 2026년 2월에 10억 달러를 조달하고, Marble이라는 제품을 일반 공개했다. 텍스트나 이미지로부터 돌아다닐 수 있는 3D 세계를 생성한다. (Fast Company)

그녀의 말이 뼈를 때린다. 지금의 LLM은 '웅변적이지만 경험이 없고, 박식하지만 땅에 발을 붙이지 못하고 있다(eloquent but inexperienced, knowledgeable but ungrounded)'. (drfeifei.substack)

Google DeepMind. 2025년 8월에 Genie 3라는 모델을 선보였다. 텍스트로 지시하면 그 자리에서 조작할 수 있는 3D 세계를 생성한다. (DeepMind)

튜링상 수상자와 ImageNet의 창시자, 그리고 세계 최강의 연구소. 이 세 주체가 언어의 다음에 있는 것을 향해 일제히 움직였다. 그렇다면 지금의 LLM에 무엇이 부족하기에 이 정도의 소동이 벌어지고 있는 것일까.

LLM이 하고 있는 일을 한 마디로 말하면, 다음 단어의 예측이다.

방대한 텍스트를 읽고, '이 문맥 다음에 올 단어'를 확률로 맞춘다. 이것을 극한까지 훈련하면 번역도 요약도 추론도 놀라울 정도로 잘할 수 있게 되었다.

다만, 여기에 구조적인 구멍이 있다.

LLM이 배우고 있는 것은 세계 그 자체가 아니다. 세계에 대해 인간이 쓴 문장이다. 즉, 현실의 1차 정보가 아니라 현실의 묘사를 배우고 있는 것이다.

그렇기에 언어로 표현되지 않은 지식에 약하다.

컵을 쓰러뜨리면 물이 쏟아진다. 공을 던지면 포물선을 그리며 떨어진다. 방 안쪽에서 앞쪽으로 걸어오면 물체가 크게 보인다. 이런, 인간이 2세까지 몸으로 익히는 상식을 LLM은 언어 밖에서 받아들일 수 없다.

실제로 지금의 AI는 거리나 방향, 크기 추정, 물체를 회전시켰을 때 어떻게 보일지, 미로를 어떻게 빠져나갈지 같은 공간 태스크(Spatial Task)에서 거의 찍기에 가까운 성적밖에 내지 못한다는 지적이 있다. (drfeifei.substack)

언어는 세계의 그림자다. 그림자를 아무리 정밀하게 측정하더라도, 그림자를 드리우고 있는 물체 그 자체가 될 수는 없다. 월드 모델 (World Model)은 이 물체의 측면을 직접 붙잡으러 간다.

그렇다면 세계의 측면을 직접 붙잡기 위해 AI에게 무엇이 필요할까? 페이페이 리(Fei-Fei Li)는 이를 세 가지로 정리했다. (drfeifei.substack)

첫째, **생성적 (Generative)**이어야 한다. 기하학적으로나 물리적으로, 혹은 움직임으로서나 앞뒤가 맞는 세계를 만들 수 있어야 한다. 걸어도 풍경이 깨지지 않아야 하며, 물건을 떨어뜨리면 떨어져야 한다.

둘째, **멀티모달 (Multimodal)**이어야 한다. 이미지, 영상, 텍스트, 몸짓 등 다양한 입력을 받아들일 수 있어야 한다. 언어만이 유일한 입구가 아니다.

셋째, **인터랙티브 (Interactive)**해야 한다. 행동을 입력하면 그 결과로서의 '다음 세계의 상태'를 반환해야 한다.

세 번째가 가장 본질적이다. 서두에 썼던 '그림이 아니라 결과를 반환한다'는 것이 바로 여기에 해당한다. 사용자가 움직이면 그만큼 세계가 응답한다. 이 왕복이 가능해져야 비로소 머릿속의 시뮬레이터로서 사용할 수 있다.

말을 바꾸면, 월드 모델이란 '입력된 행동에 대해 다음 세계를 계속해서 반환할 수 있는 모델'을 말한다. 이를 축으로 세 명의 거물이 각기 다른 경로로 산을 오르고 있다.

뤼캉(LeCun)의 표현은 업계 내에서도 상당히 과격하다.

그는 LLM을 인간 수준의 지능으로 향하는 길의 '막다른 길 (dead end)'이라고 단언한다.

하지만 그렇게 단순하지는 않다.

유력한 견해는 대체가 아닌 통합이다. 가장 강력한 AI는 아마도 두 가지를 모두 탑재할 것이다. 언어를 지시와 설명의 인터페이스 (interface)로 사용하고, 계획을 세우거나 행동의 결과를 예측하는 부분은 월드 모델 (World Model)에 맡기는 방식이다. (Fast Company)

생각해 보면 인간도 마찬가지다. 머릿속에서 영상을 돌리며 시뮬레이션 (simulation)을 하고, 그 결론을 언어로 바꾸어 사람에게 전달한다. 영상과 언어는 적이 아니라 역할이 다를 뿐이다.

학술적으로는 LLM을 월드 모델의 특수한 사례로 재정의하려는 논의도 나오고 있다. 언어란 세계의 상태를 극도로 압축한 한 형태라는 관점이다. 그렇다면 두 가지는 서로 맞닿아 있는 셈이다.

따라서 이 논의의 진짜 쟁점은 "LLM인가, 월드 모델인가"가 아니다.

지능의 토대를 언어에 둘 것인가, 세계에 둘 것인가. 얀 르캉 (Yann LeCun)과 페이페이 리 (Fei-Fei Li)는 그 토대를 세계 쪽으로 다시 옮기려 하고 있다. 단지 그 사실만으로도 10억 달러 규모의 도박이 되고 있다.

월드 모델이 완성되면 AI의 위치가 바뀐다.

지금의 AI는 질문을 받으면 언어로 답한다. 앞으로의 AI는 앞으로 일어날 일을 예측하며 움직인다.

그 차이가 극명하게 드러나는 곳은 신체(embodiment)를 가진 AI다.

로봇은 방 안에서 물건을 집어 옮기기 전에, 집었을 때 어떤 일이 벌어질지를 예견해야 한다. 자율주행은 앞차가 급브레이크를 밟았을 때의 전개를 순식간에 머릿속으로 시뮬레이션해야 한다. 둘 다 언어의 예측이 아닌 상태 (state)의 예측이 필요하다.

과학도 마찬가지다. 새로운 재료나 약물을 일일이 실험으로 확인하기 전에, 머릿속 세계에서 반사실적 추론 (counterfactual reasoning)을 돌릴 수 있다면 탐색 속도는 수십 배 빨라질 것이다.

언어를 잘하는 AI는 인간의 업무를 빠르게 해주었다.

세계를 머릿속에서 돌릴 수 있는 AI는 인간이 신체로만 할 수 있었던 영역까지 손을 뻗어올 것이다.

한 마디로 요약하면 다음과 같다.

LLM은 세계의 '묘사'를 배웠다. 월드 모델은 세계의 '거동 (behavior)'을 배우려 하고 있다.

머릿속에 세계의 시뮬레이터 (simulator)를 가지고, 행동에 대해 다음 세계를 반환하는 것. 그것이 월드 모델이다. 르캉은 여기에 10억 달러와 자신의 커리어를 걸고 Meta를 떠났다. 페이페이 리는 이를 공간 지능 (spatial intelligence)이라 부르며 제품화했다. DeepMind는 걸을 수 있는 세계를 만들었다. 세 사람이 같은 방향을 바라본 1년이었다.

아직 월드 모델이 LLM을 대체한 것은 아니다. 오히려 당분간은 두 바퀴로 함께 굴러갈 것이다. 하지만 다음 주인공 후보가 어디에 있는지는 명확해졌다.

채팅창 안이 아니다. 세계의 편이다.

• Catching Up on Yann LeCun: JEPA, World Models, AMI Labs, and the War Against LLMs — Optima VC
• Inside Fei-Fei Li's $1 billion new AI company, World Labs — Fast Company
• From Words to Worlds: Spatial Intelligence is AI's Next Frontier — Fei-Fei Li
• Genie 3: A new frontier for world models — Google DeepMind
• AI에게 '1901년까지의 지식'만 주었을 때, 상대성 이론을 발명할 수 있는가 (관련)