지난 3월, 제품이 전혀 없는 한 연구소의 CEO가 유럽 역사상 최대 규모인 **10억 3천만 달러 규모의 시드 라운드 (seed round)**를 마감했습니다. 그 후 그는 TechCrunch에 "'세계 모델 (world models)'이 다음 유행어가 될 것"이라고 말하며, 6개월 이내에 모든 회사가 자금을 조달하기 위해 스스로에게 이 라벨을 붙일 것이라고 예측했습니다.

그 CEO는 Alexandre LeBrun입니다. 연구소는 파리에 위치한 AMI Labs입니다. 의장은 Yann LeCun입니다. 그리고 LeBrun의 예측은 일정대로 진행되었습니다. 그 이후 벤처 캐피털 (VC)들은 이 카테고리에 약 30억 달러를 투입했습니다.

특정 분야에서 가장 큰 베팅을 한 인물이 그 분야가 곧 알맹이 없는 유행어가 될 것이라고 말한다면, 그 관점은 유지할 가치가 있습니다. 문제는 "세계 모델 (world model)"이라는 용어가 희석될지 여부가 아닙니다. 희석될 것입니다. 문제는 그 라벨 아래에 실제로 테스트 가능한 아키텍처 (architectural) 상의 이견이 존재하는가 하는 점입니다.

존재합니다. 이 포스트는 그 증거입니다. LeCun이 실제로 주장하는 것, 발표된 결과가 보여주는 것, 누가 비용을 지불했는지, 그리고 이 전체 논제가 틀렸다는 가장 강력한 논거들을 다룹니다.

30초 만에 알아보는 LeCun은 누구인가

2018년 튜링상 (Turing Award) 수상자 (Hinton, Bengio와 공동 수상). 합성곱 신경망 (convolutional neural networks)의 설계자. 2013년부터 Meta의 수석 AI 과학자로 재직하며 FAIR를 지구상에서 가장 큰 산업 연구소 중 하나로 성장시켰습니다. 그의 퇴사는 2025년 11월에 확정되었는데, 이는 Meta가 FAIR를 새로운 초지능 (superintelligence) 조직으로 통합하고, Scale AI에 150억 달러를 지출하며, Llama 및 생성형 제품 중심으로 방향을 재설정했기 때문입니다.

이 결별은 재정적인 것이 아니라 아키텍처 (architectural) 측면에서의 것이었습니다. Meta는 AMI Labs에 투자하고 있지 않지만, 두 곳은 이 모든 이야기의 근간이 되는 아키텍처를 중심으로 연구 파트너십을 유지하고 있습니다.

그가 주장하는 LLM에 반대하는 논거

LeCun의 비판은 현재의 유행 사이클보다 수년 앞서 있었으며, 단순히 "LLM은 나쁘다"는 것보다 훨씬 구체적입니다. 그가 제시하는 결핍 요소들의 표준 목록은 다음과 같습니다: 물리적 세계에 대한 이해 (understanding of the physical world), 지속성 있는 메모리 (persistent memory), 추론 (reasoning), 그리고 계획 (planning). 이를 뒷받침하는 논거는 다음과 같습니다:

• 자기회귀 (Autoregression)는 오류를 누적시킵니다. 생성된 모든 토큰은 어쩌면 잘못되었을 수도 있는 이전 토큰들에 의존합니다. 산문(prose)에는 괜찮을 수 있지만, 초기의 단 한 번의 실수가 이후의 모든 과정을 무효화하는 장기적 계획 (long-horizon plans)에는 치명적입니다.
• 텍스트는 현실의 아주 얇은 단면일 뿐입니다. 그의 추정에 따르면, 네 살짜리 아이가 시각을 통해서만 받아들인 가공되지 않은 감각 데이터의 양이 가장 거대한 텍스트 코퍼스 (text corpora)가 포함하고 있는 양보다 많습니다. 텍스트는 세상을 묘사할 뿐, 세상의 역학 (dynamics)을 포함하고 있지는 않습니다.
• 떨어지는 펜. 펜을 떨어뜨리면 여러 가지 방식으로 착지할 수 있습니다. 표면 공간 (surface space)에서 가장 가능성 높은 하나의 연속성을 예측하는 시스템은, 물리적 결과의 분포 (distribution of physical outcomes)를 바탕으로 추론하는 시스템과는 다른 계산을 수행하고 있는 것입니다.
• 리스크 (stakes) 논거. LeBrun은 의료 AI 기업인 Nabla를 운영하며 응용 분야의 관점에서도 동일한 결론에 도달했습니다. 의료 분야에서 환각 (hallucination)은 단순한 UX 버그가 아닙니다. 그것은 법적 책임 (liability)의 범주입니다.

올해 VivaTech에서 LeCun은 현재의 챗봇들이 쥐보다 물리적 세상을 더 못 이해한다고 말했습니다. AMI의 기업적 프레임워크는 좀 더 절제되어 있습니다. 토큰 예측 (token prediction)은 검색 (retrieval), 요약 (summarization), 코드 (code)와 같은 이산적이고 저차원적인 (low-dimensional) 작업에는 잘 작동하며, 세상을 모델링하지 않고도 지능을 모방합니다.

더 나아가기 전에 주목할 점이 하나 있습니다. 이 비판은 강화학습 (RL)으로 훈련된 추론 모델이 존재하기 전에 정립되었습니다. "추론도 계획도 없다"는 주장은 2022년보다 2026년 현재 더 설득력이 약합니다. 오늘날 이 논거의 솔직한 버전은 추론의 존재 여부가 아니라, 그 추론의 *신뢰성과 접지 (grounding)*에 관한 것입니다.

"세계 모델 (World model)"은 현재 세 가지 서로 다른 의미를 가집니다

이 부분은 대부분의 보도에서 생략되는 지점이며, 바로 여기서 유행어 (buzzword)로 인한 피해가 발생할 것입니다. 기술적으로 구별되는 최소 세 가지의 접근 방식이 이 라벨을 공유하고 있습니다:

1. 생성적 비디오 예측 (Generative video prediction). 행동 (actions)을 조건으로 미래 프레임을 예측합니다. Google DeepMind의 Genie 3는 24fps로 탐색 가능한 3D 세계를 생성합니다. NVIDIA의 Cosmos (CES 2025에서 출시, 200만 회 이상의 다운로드, 약 2,000만 시간의 비디오로 학습)는 로보틱스 및 자율주행 자동차 (AVs)를 위한 합성 데이터 (synthetic data)를 목표로 합니다. Runway의 GWM-1은 인터랙티브 비디오에 승부수를 던지고 있습니다. 모델의 상상력은 말 그대로 눈으로 볼 수 있습니다.
2. 명시적 3D 표현 (Explicit 3D representation). Fei-Fei Li의 World Labs는 세계를 프레임 시퀀스가 아닌 공간적 객체로 취급합니다. Marble (2025년 11월 출시 예정)은 가우시안 스플래팅 (Gaussian splats)과 물리 엔진 (physics engines)을 기반으로 VR에서 볼 수 있는 3D 환경을 생성합니다.
3. 잠재 공간 예측 (Latent-space prediction). JEPA — LeCun의 승부수입니다. 픽셀을 전혀 생성하지 마십시오. 관측값 (observations)을 추상적인 표현 (representations)으로 인코딩하고, 그것들이 어떻게 진화하는지를 예측합니다. 주장은 이렇습니다: 대부분의 픽셀 수준 세부 사항은 계획 (planning)에 무관하며, 이를 예측하는 것은 용량과 연산 자원 (compute)을 낭비한다는 것입니다.

이들은 서로 대체 가능한 것이 아닙니다. 무엇을 예측하는지, 어떻게 평가하는지, 그리고 무엇을 위한 것인지에 따라 다릅니다. 스타트업이 스스로를 "세계 모델 기업"이라고 부를 때, 가장 유용한 첫 번째 질문은 이 세 가지 중 무엇을 의미하는가입니다.

논문의 흔적: JEPA가 실제로 보여준 것

자금 조달 소식은 요란합니다. 하지만 논문들은 더 조용하면서도 더 흥미롭습니다.

2022년 — 포지션 페이퍼 (position paper). A Path Towards Autonomous Machine Intelligence는 전체 프로그램을 설명합니다: JEPA를 학습 기질 (learning substrate)로 사용하는 모듈형 에이전트 (지각, 세계 모델, 비용, 행위자, 단기 기억, 설정기)입니다. 결과는 없습니다 — 순수한 아키텍처 (architecture)일 뿐입니다. 이는 연구 로드맵처럼 읽히며, AMI Labs는 본질적으로 이 논문을 법인화한 형태입니다.

2023년 — I-JEPA. 이미지. 이미지의 블록을 마스킹 (mask)하고, 가시적인 컨텍스트 (context)로부터 마스킹된 영역의 *표현 (representations)*을 예측합니다 — 픽셀을 재구성하지 않으며, 수작업으로 만든 증강 (handcrafted augmentations)도 사용하지 않습니다. Meta는 16개의 A100에서 72시간 미만으로 ViT-Huge를 학습시켰다고 보고했는데, 이는 픽셀 재구성 방식이 소모하는 자원의 극히 일부이며, 강력한 선형 프로브 (linear-probe) 결과를 보여주었습니다.

2024 — V-JEPA. 비디오에도 동일한 트릭을 적용했습니다: 시공간 패치 (spatiotemporal patches)에 대한 마스크 잠재 예측 (masked latent prediction) 방식입니다. 이 표현형 (representations)은 _움직임 (motion)_을 유난히 잘 인코딩하는 것으로 나타났는데, 이는 픽셀 재구성 (pixel-reconstruction) 모델들이 악명 높게 저조한 성능을 보이는 바로 그 지점입니다.

2025 — V-JEPA 2. 핵심적인 결과물입니다. 2,200만 개의 비디오 (100만 시간 이상)로 학습된 약 10억 파라미터 규모의 ViT-g 인코더입니다. 논문에 따르면:

• Something-Something v2에서 top-1 77.3% 달성 (움직임 이해)
• Epic-Kitchens-100에서 action anticipation(행동 예측) recall@5 39.7% 달성 — 이전의 작업 특화 (task-specific) 모델 대비 상대적으로 44% 향상된 수치
• 80억 파라미터 규모의 언어 모델과 정렬 (aligned): PerceptionTest에서 84.0, TempCompass에서 76.9 달성 — 해당 규모에서 최첨단 (state of the art) 성능

다음은 로보틱스 부분인 V-JEPA 2-AC입니다: 동결된 (frozen) 인코더를 가져와서, 공개된 DROID 데이터셋의 라벨이 없는 로봇 비디오 62시간 미만의 데이터로 행동 조건부 예측기 (action-conditioned predictor)를 사후 학습 (post-train) 시킨 뒤, 모델이 한 번도 본 적 없는 두 실험실의 Franka 암 (arms)에 제로샷 (zero-shot)으로 배포합니다. 계획 (Planning)은 잠재 공간 (latent space)에서의 모델 예측 제어 (model-predictive control)로 실행됩니다. 결과: 보지 못한 물체를 이용한 pick-and-place 작업에서 65~80%의 성공률 달성 — 보상 (rewards)도, 작업 특화 데이터도, 배포된 로봇으로부터 얻은 데이터도 필요하지 않았습니다. 계획 수립 시간은 비디오 생성 베이스라인 (Cosmos)의 액션당 약 4분 대비 약 16초가 소요되었으며, 컵 재배치 작업에서는 비전-언어-행동 (vision-language-action) 베이스라인인 Octo가 15%를 기록한 반면 약 80%에 도달했습니다.

Meta는 또한 물리적 추론 (physical-reasoning) 벤치마크 (IntPhys 2, MVPBench, CausalVQA)를 함께 공개했습니다. 현재 LLM을 포함한 모델들은 이 벤치마크에서 여전히 인간에 비해 크게 뒤처져 있습니다. 그 격차를 메우는 것이 바로 이 기술의 핵심 제안 (pitch)입니다.

2026 — AMI Labs. 7월 현재: 공개된 모델은 없습니다. 보고된 바에 따르면 행동을 통해 지속적으로 적응하는 세계 모델 (world models)에 대한 연구와 컨퍼런스 기조연설 활동이 이어지고 있습니다. LeBrun이 밝힌 타임라인은 다음과 같습니다: 제품에 사용 가능한 첫 번째 구성 요소가 나오기까지는 대략 1년, 실제 상업적 응용 분야(Nabla을 통한 헬스케어, 로보틱스, 웨어러블, 산업 분야)까지는 _수년_이 걸릴 것입니다. LeCun은 첫 1년은 연구 기간이라고 말합니다. 공정하게 평가하자면, 그들은 그렇지 않은 척하며 허풍을 떨지 않고 있습니다.

자금 지도 (The money map)

AMI 라운드는 Bezos Expeditions, Cathay Innovation, Greycroft, Hiro Capital, HV Capital이 주도했으며, NVIDIA, Temasek, Samsung, Toyota Ventures가 참여했습니다. 또한 Bezos, Mark Cuban, Eric Schmidt, 그리고 시드 라운드(seed round)로서는 이례적으로 Tim Berners-Lee를 포함한 개인 투자자들도 참여했습니다. 이들은 처음에 5억 유로(€500M)를 목표로 했으나, 약 8억 9천만 유로(€890M)를 모집하며 마무리했습니다.

시야를 넓혀보면 패턴이 더욱 선명해집니다. World Labs는 2월에 기업 가치 54억 달러(post-money valuation)로 10억 달러를 유치했습니다. Decart는 5월에 40억 달러의 가치로 3억 달러를 확보했습니다 (Karpathy가 엔젤 투자자로 참여). Odyssey는 12억 달러를 유치했습니다. 그리고 NVIDIA는 거의 모든 자본 구성표(cap table)에 등장합니다. NVIDIA는 **2026년까지 400억 달러 이상의 AI 지분(AI equity)**을 투입하기로 약속했으며, 이는 종종 장기적인 GPU 공급 약속에 대한 대가로 지분을 제공하는 방식으로 구조화됩니다.

이 인센티브를 주의 깊게 읽어보십시오. NVIDIA의 편재성(omnipresence)은 세계 모델(world models)이 *연산 집약적(compute-hungry)*이라는 증거이지, 그 아키텍처(architecture)가 옳다는 증거는 아닙니다. Demis Hassabis가 세계 모델을 AGI(인공 일반 지능)를 위한 필수 요소라고 부른 것이 더 의미 있는 지지입니다. DeepMind는 유행 주기(hype cycle)와 상관없이 이를 구축하고 있으며, 이를 정당화하기 위한 자금 조달을 할 필요도 없기 때문입니다.

솔직한 반론 (The honest counterarguments)

저는 단순히 투자 제안(pitch)을 전달하는 방식의 글을 쓰고 싶지 않습니다. 여기 가장 강력한 반론들이 있습니다.

1. LLM(대규모 언어 모델)이 이미 세계 모델을 학습하고 있을 수 있습니다. Othello-GPT 연구 계열은 오직 수(move)의 시퀀스만으로 트랜스포머(transformer)를 학습시켰으며, 보드 상태에 대한 창발적이고 탐사 가능한 표현(emergent, probeable representation)을 발견했습니다. 이는 나중에 Neel Nanda에 의해 *선형적(linearly)*으로 디코딩(decodable) 가능하다는 것이 입증되었습니다. Gurnee와 Tegmark는 Llama-2 내부에서 개별적인 "공간 뉴런(space neurons)"에 이르기까지 공간과 시간의 선형적 표현(linear representations)을 발견했습니다. 다음 토큰 예측(Next-token prediction)은 데이터 생성 프로세스에 대한 어느 정도의 내부 모델을 유도한다는 것이 입증되었습니다. 따라서 LeCun의 주장은 범주적(categorical)인 것이 아니라, 양적인(quantitative) 것이어야 합니다. 즉, "충분한 모델이 없으며, 충분히 접지(grounded)되어 있지 않다"는 식이어야 합니다.

2. 그러한 내부 모델들은 어쨌든 쓸모없는 것(junk)일 수도 있습니다. 후속 해석 가능성 (interpretability) 연구에 따르면, Othello-GPT의 "보드"는 깔끔한 알고리즘이라기보다는 상관관계가 있는 휴리스틱 (heuristics)의 집합일 수 있음을 시사합니다. 즉, 정교한 천체 모델(orrery)이 아니라 복잡한 주전원(epicycles)에 불과하다는 것입니다. 이는 양면성을 가집니다. "LLM은 이미 세계 모델을 가지고 있다"는 주장을 약화시키는 동시에, 누군가 JEPA의 잠재 변수 (latents)를 강력하게 조사(probe)하기 시작하면 그 역시 똑같이 지저분해 보일 수 있다는 경고이기도 합니다.

3. 잠재 예측 (Latent prediction)은 검사하기 어렵습니다. 생성형 세계 모델 (generative world models)을 사용하면 모델이 상상하는 것을 직접 관찰할 수 있고, 그것이 무너지는 모습도 볼 수 있습니다. 반면 JEPA 예측기의 오류는 임베딩 공간 (embedding space)에 존재합니다. 평가는 간접적입니다. 즉, 프로브 (probes)나 다운스트림 계획 (downstream planning)의 성공 여부를 통해 이루어집니다. 이는 실제적인 툴링 (tooling) 및 디버깅 가능성 (debuggability) 비용이며, 생성형 진영이 공개적으로 더 빠르게 반복 (iterate)할 수 있는 이유 중 하나입니다.

4. 아직 누구의 세계 모델도 견고하지 않습니다. Genie 3는 몇 분 동안 일관성을 유지하며 약 1분 정도 변화를 기억합니다. V-JEPA 2-AC는 테이블 위의 물건을 집어 옮기는 작업은 수행하지만, 빨래를 하지는 못합니다. "컵 위치의 80% 이동"과 "당신의 주방에 있는 로봇" 사이의 간극은 LLM이 벤치마크와 실제 배포 (deployment) 사이에서 직면하는 것과 같은 종류의 간극입니다. 한쪽 진영에만 배포 표준을 요구하는 것은 일관성이 없습니다.

5. 반증 가능성 (falsifiability) 문제. 이 가설이 승리했다고 간주하려면 무엇이 필요할까요? 제가 생각하는 후보들은 다음과 같습니다: 동일한 규모에서 JEPA 방식의 플래너 (planners)가 시각-언어-행동 (vision-language-action) 모델의 일반화 성능을 앞지르는 것; 조작용 장난감(manipulation toys)을 넘어선 샘플 효율성 (sample-efficiency) 곡선 유지; 의료와 같은 도메인에서 접지된 (grounded) 시스템의 환각 (hallucination)이 측정 가능할 정도로 감소하는 것. 반대로 패배했다고 간주될 상황은 무엇일까요: 하이브리드 LLM 시스템이 물리적 추론 (physical-reasoning) 벤치마크 격차를 먼저 좁히는 것입니다. 두 결과 모두 2년 이내에 가시화될 것이며, 이는 대부분의 10억 달러 규모 가설들에 대해 말할 수 있는 것보다 훨씬 명확한 예측입니다.

이를 어떻게 활용할 것인가 (만약 무언가를 만든다면)

철학적인 것이 아니라, 실무적인 관점에서:

– 여기 있는 것이 2026년 여러분의 LLM 호출을 대체하지는 못할 것입니다. 가장 낙관적인 내부자 예측 시나리오는 첫 사용 가능한 조각(piece)까지 1년, 제품화까지 수년이 걸린다는 것입니다. 그에 맞춰 스택을 계획하고, 이번 분기에 '세계 모델' API를 판매하는 사람들은 무시하세요.
– 직접 자신만의 사전 지식(priors)을 형성해 보세요. V-JEPA 2 체크포인트는 공개되어 있습니다. Cosmos는 자체 호스팅이 가능하며, 7B 변형은 H100 80GB 단일 GPU에 들어갑니다. Marble에는 무료 티어가 있습니다. Genie는 비공개 프리뷰입니다. 오후 동안 만져보는 것이 한 달간의 스레드를 읽는 것보다 효과적입니다.
– 피치 덱에서 '레이블(label)'이라는 단어를 보면, 그것이 프레임(frames), 스플랫(splats), 또는 잠재 공간(latents) 중 무엇을 의미하는지, 그리고 그들의 피크앤플레이스(pick-and-place) 숫자가 어디에 있는지 물어보세요. 만약 대답이 없다면, LeBrun이 경고했던 유행어(buzzword)를 발견한 것입니다.
– 세 가지 지표를 주목하세요: AMI의 첫 출시와 그 라이선스(LeCun은 10년 동안 개방형 연구를 주장해 왔는데, 라이선스 선택이 많은 것을 말해줄 것입니다); 생성 모델이 장기적인 일관성(long-horizon coherence)을 확보하기 전에 잠재 공간 계획(latent-space planning)이 테이블탑 조작(tabletop manipulation)을 넘어 확장되는지 여부; 그리고 DeepMind가 하이브리드 LLM + 세계 모델 시스템을 출시하는지 여부입니다. 그들은 이 두 가지 구성 요소를 모두 소유하고 있으며, 방어해야 할 이론적 명제도 없기 때문입니다.

LeBrun의 6개월은 거의 다 되어갑니다. 벤치마크는 어디로도 가지 않습니다.

참고 자료 목록