JEPA(Joint Embedding Predictive Architecture) 스타일의 잠재적 세계 모델(latent world models)은 체화된 에이전트(embodied agents)가 모델 예측 제어(model predictive control, MPC)를 통해 새로운 목표를 향해 계획하도록 하지만, 여전히 실제 체화 제어에는 너무 느립니다. 샘플링 기반 MPC는 계획당 수만 번의 예측기 추론(predictor inference)을 반복하며, 최고급 GPU에서도 단 한 단계의 계획에 수십 초가 걸릴 수 있습니다.
우리는 이러한 반복적인 추론 작업 부하에서 상당한 잠재적 지역성(latent locality)이 관찰됨을 확인했습니다. 즉, 예측기는 가까운 행동을 가까운 잠재 벡터로 매핑하며, 양자화된 예측기 내부에서는 이 근접성이 하드웨어가 활용할 수 있는 형태인 차분 비트 수준 희소성(differential bit-level sparsity)의 형태로 나타납니다. 시간적 유사성이 주어지는 입력 스트림과 달리, 플래너 자체는 어떤 후보들을 함께 평가할지 결정하므로, 플래너는 자체 참조를 선택하고 참조 포레스트 샘플링(reference forest sampling)을 통해 더 많은 희소성을 생성할 수 있습니다. 이는 각 그룹의 샘플링된 행동 시퀀스를 공유 루트에 결합하며 경쟁적인 계획 품질을 유지합니다.
우리는 비트 수준 희소성 가속기(bit-level sparsity accelerators) 분야의 풍부한 통찰력을 바탕으로 가속기를 구축하고, 이를 플래너와 긴밀하게 결합된 단일 공동 설계(co-design)로 설계했습니다. 즉, 플래너는 희소성을 증가시키고 하드웨어 스케줄링을 위한 구조를 노출하며, 비트 정확도 하드웨어(bit-exact hardware)는 플래너가 생성한 희소성을 효과적으로 사용합니다.
세 가지 JEPA 세계 모델에서 우리의 공동 설계는 밀집 가속기(dense accelerator)보다 1.281.80배 빠르고 에너지 소모량은 3852% 적으며, 이전의 비트 희소성 설계보다 1.221.58배 빠르면서도 같은 면적에서 1636% 낮은 에너지를 사용합니다. 우리가 아는 한, 우리의 플래너는 후보들 전반에 걸쳐 차분 비트 수준 희소성을 생성하고 그 구조를 하드웨어 스케줄링을 위해 노출하는 최초의 플래너이며, 우리의 공동 설계는 JEPA 스타일 세계 모델 계획을 위한 최초의 알고리즘-하드웨어 공동 설계입니다.