**월드 모델 (World models)**은 픽셀 재구성 (pixel reconstruction) 없이 계획 (planning)을 위한 압축된 잠재 표현 (latent representations)을 학습합니다. NYU의 LeCun 교수 연구팀이 개발한 LeWorldModel (LeWM)은 전체 잠재 공간 (latent space)에 대해 등방성 가우시안 사전 확률 (isotropic Gaussian prior)을 강제함으로써 안정적인 엔드 투 엔드 (end-to-end) JEPA 학습을 달성합니다.

결함: 실제 환경의 역학 (dynamics)은 저차원 매니폴드 (low-dimensional manifolds) 상에 존재하므로, 전역적인 고차원 가우시안 (global high-dimensional Gaussian)은 작업 기하학 (task geometry)과 일치하지 않는 지나치게 경직된 사전 확률입니다. LeWM 자체는 Two-Room과 같이 고유 차원 (intrinsic dimension)이 낮은 작업에서 가장 큰 어려움을 겪습니다.

우리의 해결책 (Sub-JEPA): 대신 여러 개의 고정된 무작위 직교 부분 공간 (frozen random orthogonal subspaces) 내부에서 가우시안 정규화 (Gaussian regularization)를 적용합니다. 이는 붕괴 방지 (anti-collapse) 이점은 유지하면서 전역적 제약 (global constraint)을 완화합니다. 새로운 하이퍼파라미터 (hyperparameters) 없이 동일한 두 항 목적 함수 (two-term objective)를 사용합니다.

Sub-JEPA는 4개의 벤치마크 모두에서 LeWM보다 지속적으로 우수한 성능을 보였으며, Two-Room에서는 최대 +10.7 pp의 성능 향상을 기록했습니다. 또한 부수적인 이점으로 더 직선적인 잠재 궤적 (latent trajectories)과 더 나은 물리적 상태 디코딩 가능성 (physical state decodability)을 관찰했습니다.

🌐 프로젝트: https://kaizhao.net/sub-jepa

💻 코드: https://github.com/intcomp/sub-jepa

📄 논문: https://arxiv.org/pdf/2605.09241