RoboJEPA: 로봇의 잠재된 세계 모델 확장성

잠재 세계 모델(Latent world models)은 미래 상태를 예측하고 실제 세계에서 계획을 세우는 놀라운 능력을 보여주었습니다. 하지만 실제로는 모델 크기, 데이터, 컴퓨팅 자원에 따라 이들의 역량이 어떻게 확장되는지 추정할 수 있는 원칙적인 방법이 부족하며, 이는 해당 분야의 발전을 늦추는 미해결 문제입니다. 본 연구에서는 Joint Embedding Predictive Architecture (JEPA)를 기반으로 하며 12개의 로봇 구현체(robotic embodiments)에 걸쳐 구축된 대규모 데이터셋으로 학습된 세계 모델인 RoboJEPA를 제시합니다. 우리는 RoboJEPA의 상상 오류(imagination error), 즉 잠재적 롤아웃(latent rollouts)의 오차가 컴퓨팅 자원에 대해 2차 전력 법칙(second-order power law)을 따른다는 것을 보여주었으며, 이를 통해 해당 법칙이 적합된 규모를 훨씬 뛰어넘어 모델 품질을 예측할 수 있게 합니다. 나아가 다운스트림 로봇 계획 성능이 컴퓨팅 자원과 예측 가능하게 향상되며, 상상 오류가 이와 강한 상관관계를 가지므로 실제 로봇 평가에 대한 신뢰할 수 있는 대리 지표(proxy)임을 보여줍니다. 마지막으로, 잠재 세계 모델을 제로샷(zero-shot) 방식으로 로봇 에이전트에 배포하여 단일 목표 이미지 방향으로 계획함으로써 실시간 하드웨어에서 장기 예측(long-horizon planning)이 필요한 작업을 해결할 수 있음을 입증합니다. 저희는 모든 모델 체크포인트와 함께 학습 및 로봇 배포 코드를 공개합니다. 저희가 아는 한, 이는 실제 로봇 데이터로 훈련된 다중 구현체 로봇 세계 모델의 확장 법칙을 확립한 최초의 연구이며, RoboJEPA는 8B 파라미터를 가진 현재까지 가장 큰 JEPA 예측기 모델입니다.