Yann LeCun이 또 한 번 해냈습니다.
그들의 새로운 논문은 world models (JEPAs)가 마침내 반사실적 추론(counterfactuals), 즉 다른 행동을 취했다면 무엇이 '일어났을지'를 추론할 수 있음을 증명합니다.
그리고 이를 위해 재훈련(retraining)이 전혀 필요하지 않습니다. 추가 파라미터도, 새로운 데이터도 없습니다.
현재 모든 AI world model에는 거대한 사각지대가 있습니다. 평균적으로 무슨 일이 일어날지만 예측할 수 있을 뿐입니다.
보이지 않는 해류가 배를 궤도에서 밀어내는 동안 보트를 조종하는 것을 상상해 보세요.
일반적인 AI world model은 평균적으로 배가 어디에 도착할지 알려줄 수는 있습니다.
하지만 실제로 중요한 질문, 즉 “만약 그 똑같은 숨겨진 해류 속에서 왼쪽으로 방향을 틀었다면 무슨 일이 일어났을까?”라는 질문에는 답할 수 없습니다.
바로 이 단 하나의 질문이 불운과 잘못된 결정을 가르는 기준입니다.
연구원들은 매우 충격적인 사실을 증명했습니다. 사실적 데이터로 훈련된 표준 world model은 스스로는 절대 그 질문에 답할 수 없다는 것입니다.
데이터를 10배 더 많이 넣어도, 모델 크기를 100배 키워도 안 됩니다.
왜냐하면 데이터는 오직 '무슨 일이 일어났는지'만 보여줄 뿐, 같은 보이지 않는 힘이 작용했을 때 '무슨 일이 일어났을지'는 절대 보여주지 못하기 때문입니다.
그러자 그들은 허점을 발견했습니다.
물리학에는 간단한 규칙이 있습니다. 자연은 도약하지 않습니다(nature makes no leaps). 짧은 단계 동안, 당신의 행동과 숨겨진 힘은 별개로 작용합니다.
이는 방금 관찰된 실제 결과 안에 이미 그 숨겨진 해류가 내재되어 있다는 것을 의미합니다.
해류를 추측할 필요가 없습니다. 단지 '표류(drift)'를 재사용하면 됩니다.
실제로 일어난 것(what actually happened)을 가져와서, 새로운 행동에 대한 AI의 예측값과 실제로 취한 행동 사이의 차이(difference)를 더하는 것입니다.
그게 전부입니다.
재훈련 없음. 추가 파라미터 없음. 반사실적 훈련 데이터도 없습니다.
단지 동일한 JEPA world model을 두 번 통과시키고 기본적인 덧셈만 하면 됩니다.
그리고 그 결과는 엄청납니다:
• 원시 픽셀(raw pixels)로부터 네 가지 물리 시뮬레이터에 걸쳐, 반사실적 정확도($ R^2$)가 기존의 38–46%에서 동일한 모델을 사용해 86–96%로 급증했습니다.
• 수중 차량 테스트에서는 90–94%에 도달했습니다.
• 사후 계획(hindsight planning)에서는 시뮬레이터에 완벽하게 접근할 수 있는 오라클 플래너를 압도하며, 35–69%의 확률로 승리하는 행동을 찾아냈습니다 (오라클 플래너는 14–23%).
수년 동안 AI는 평균적인 미래를 예측하는 데에 머물러 있었습니다.
그것은 실수했던 것을 되돌아보고 무엇이 잘못되었는지 진정으로 이해할 수 없었습니다.
인간은 단순히 다음에 무슨 일이 일어날지만 예측하지 않습니다. 우리는 현실을 되감아보고 "만약에(what if)"라고 질문합니다.
이제 월드 모델(world models)도 할 수 있게 되었습니다.