물리적으로 본 세계 모델: 생성적 세계 모델링의 해밀토니안 관점

최근 세계 모델 (World Models) 은 임베디드 인텔리전스 (embodied intelligence), 로봇공학, 자율주행, 및 모델 기반 강화학습 (model-based reinforcement learning) 의 핵심 패러다임으로 재등장했습니다. 그러나 현재 세계 모델 연구는 시각적 미래 합성 (visual future synthesis) 을 강조하는 2D 비디오 생성 모델, 공간적 재구성 (spatial reconstruction) 을 강조하는 3D 시나리오 중심 모델, 및 추상적 예측 표현 (abstract predictive representations) 을 강조하는 JEPA 유사 잠재 모델 (latent models) 이라는 세 가지 부분적으로 분리된 경로로 지배받고 있습니다. 각 경로는 중요한 발전을 이루었으나, 임베디드 의사결정 (embodied decision making) 에 대해 물리적으로 신뢰할 수 있고, 행동 제어 가능하며, 장기적 안정성 (long-horizon stability) 을 가진 예측을 제공하기에는 여전히 어려움을 겪고 있습니다. 본 논문에서는 세계 모델의 병목 현상이 현실적인 미래를 생성하는 것뿐만 아니라, 해당 미래가 물리적으로 의미 있고 행동에 유용한 것인지 여부가 아닌지를 주장합니다. 우리는 이를 위해 extbf{해밀토니안 세계 모델 (Hamiltonian World Models)} 을 제안하며, 이는 세계 모델링에 대한 물리적으로 기반한 관점입니다. 핵심 아이디어는 관찰을 구조화된 잠재 위상 공간 (structured latent phase space) 에 인코딩하고, 제어 (control), 감쇠 (dissipation), 잔류항 (residual terms) 을 포함한 해밀토니안 영감을 받은 역학 (Hamiltonian-inspired dynamics) 을 통해 잠재 상태를 진화시키고, 예측된 궤적을 미래 관찰로 디코딩하며, 이를 계획 (planning) 에 활용하는 것입니다. 우리는 해밀토니안 구조가 해석 가능성 (interpretability), 데이터 효율성 (data efficiency), 및 장기적 안정성을 개선할 수 있음을 논의하고, 실제 로봇 장면에서 발생하는 마찰 (friction), 접촉 (contact), 보존력 외의 힘 (non-conservative forces), 및 변형 가능한 물체 (deformable objects) 를 포함한 실용적인 과제를 함께 언급합니다.