데이터 기반 접근 방식은 3D 비전(3D vision) 분야에 혁명을 일으켰으며, 트랜스포머(transformers)가 정적인 3D 객체를 효과적으로 재구성하고 생성할 수 있게 했습니다. 그러나 포괄적인 3D 월드 모델(3D world models)을 구축하는 데 있어 그 중요성에도 불구하고, 다양한 물리적 조건 하에서 정적 객체의 현실적인 시간적 변형을 의미하는 시뮬레이션 가능한 4D 역학(4D dynamics)을 생성하는 것은 여전히 어렵고 종종 임시방편적(ad hoc)으로 이루어집니다. 기존의 대부분의 방법은 미리 정의된 물리 모델을 가정하고 시스템 식별(system identification)을 사용하여 파라미터를 추정하며, 이로 인해 이러한 방법들은 특정 카테고리와 소규모 데이터셋으로 제한됩니다. 우리는 객체 중심의 물리 시스템(object-centric physical systems)을 위한 데이터 기반 운동학적 상태 파라미터화(kinematic state parameterization)를 학습함으로써 이러한 제한을 극복할 수 있다고 제안합니다. 구체적으로, 우리는 객체의 가능한 모든 상태를 나타내는 잠재 공간(latent space)과 임의로 샘플링된 잠재 변수를 객체의 그럴듯하게 변형된 형상으로 매핑하는 디코더(decoder)를 모두 학습합니다. 우리는 이 파라미터화를 신경 객체 운동학(Neural Object Kinematics, NeuROK)이라고 부르며, 선별된 대규모 4D 데이터셋을 통해 트랜스포머 기반의 인코더-디코더(encoder-decoder) 모델을 학습합니다. 이러한 정식화와 학습된 모델은 고전 물리학의 라그랑주 역학(Lagrangian mechanics) 관점에서 저차원 잠재 공간 내의 역학만을 고려하면 되기 때문에 시뮬레이션 가능한 역학 생성을 크게 단순화합니다. 우리는 다양한 동적 객체 유형에 걸쳐 이 신경 시뮬레이션 프레임워크의 효과와 범용성을 입증하였으며, 이전 연구들에 비해 명확한 이점을 보여줍니다. 프로젝트 페이지: https://chen-geng.com/neurok