Sub-JEPA: LeCun 연구팀의 LeWorldModel 성능을 지속적으로 향상시키는 간단한 개선 방법

원문 발행 2026. 05. 18. 22:44원문 언어 영어AI 한국어 번역Reddit AI Research 원문 보기

요약

LeCun 교수 연구팀의 LeWorldModel(LeWM)이 가진 경직된 가우시안 사전 확률 문제를 해결하기 위해 Sub-JEPA라는 새로운 방법론이 제안되었습니다. Sub-JEPA는 여러 개의 무작위 직교 부분 공간 내에서 가우시안 정규화를 적용하여 전역적 제약을 완화함으로써, 저차원 매니폴드 환경에서도 안정적인 JEPA 학습을 가능하게 합니다.

핵심 포인트

LeWM의 전역적 고차원 가우시안 사전 확률은 실제 환경의 저차원 역학을 반영하기에 지나치게 경직되어 있음
Sub-JEPA는 새로운 하이퍼파라미터 없이 무작위 직교 부분 공간을 활용해 붕괴 방지와 유연한 정규화를 동시에 달성함
4개의 벤치마크에서 LeWM 대비 성능 향상을 보였으며, 특히 Two-Room 작업에서 최대 10.7 pp의 성능 향상을 기록함
잠재 궤적의 직선성이 개선되고 물리적 상태의 디코딩 가능성이 높아지는 부수적 효과가 있음

**월드 모델 (World models)**은 픽셀 재구성 (pixel reconstruction) 없이 계획 (planning)을 위한 압축된 잠재 표현 (latent representations)을 학습합니다. NYU의 LeCun 교수 연구팀이 개발한 LeWorldModel (LeWM)은 전체 잠재 공간 (latent space)에 대해 등방성 가우시안 사전 확률 (isotropic Gaussian prior)을 강제함으로써 안정적인 엔드 투 엔드 (end-to-end) JEPA 학습을 달성합니다.

결함: 실제 환경의 역학 (dynamics)은 저차원 매니폴드 (low-dimensional manifolds) 상에 존재하므로, 전역적인 고차원 가우시안 (global high-dimensional Gaussian)은 작업 기하학 (task geometry)과 일치하지 않는 지나치게 경직된 사전 확률입니다. LeWM 자체는 Two-Room과 같이 고유 차원 (intrinsic dimension)이 낮은 작업에서 가장 큰 어려움을 겪습니다.

우리의 해결책 (Sub-JEPA): 대신 여러 개의 고정된 무작위 직교 부분 공간 (frozen random orthogonal subspaces) 내부에서 가우시안 정규화 (Gaussian regularization)를 적용합니다. 이는 붕괴 방지 (anti-collapse) 이점은 유지하면서 전역적 제약 (global constraint)을 완화합니다. 새로운 하이퍼파라미터 (hyperparameters) 없이 동일한 두 항 목적 함수 (two-term objective)를 사용합니다.

Sub-JEPA는 4개의 벤치마크 모두에서 LeWM보다 지속적으로 우수한 성능을 보였으며, Two-Room에서는 최대 +10.7 pp의 성능 향상을 기록했습니다. 또한 부수적인 이점으로 더 직선적인 잠재 궤적 (latent trajectories)과 더 나은 물리적 상태 디코딩 가능성 (physical state decodability)을 관찰했습니다.

🌐 프로젝트: https://kaizhao.net/sub-jepa

💻 코드: https://github.com/intcomp/sub-jepa

📄 논문: https://arxiv.org/pdf/2605.09241

AI 자동 생성 콘텐츠

원문 바로가기

Sub-JEPA: LeCun 연구팀의 LeWorldModel 성능을 지속적으로 향상시키는 간단한 개선 방법

요약

핵심 포인트

댓글