물리적으로 본 세계 모델: 생성적 세계 모델링의 해밀토니안 관점

요약

본 논문은 세계 모델(World Models) 연구가 시각적 합성, 3D 재구성, 잠재 표현 등 여러 부분으로 분산되어 있어 물리적으로 신뢰할 수 있는 예측에 한계가 있음을 지적하며, 이를 해결하기 위해 해밀토니안 세계 모델(Hamiltonian World Models)을 제안합니다. 이 모델은 관찰을 구조화된 잠재 위상 공간에 인코딩하고, 제어, 감쇠, 잔류항이 포함된 해밀토니안 역학을 통해 상태를 진화시키며 예측 궤적을 생성하여 계획에 활용하는 물리 기반 접근 방식입니다. 이러한 해밀토니안 구조는 모델의 해석 가능성, 데이터 효율성, 그리고 장기적인 안정성을 크게 개선할 수 있습니다.

핵심 포인트

• 세계 모델 연구는 현재 시각 합성, 3D 재구성 등 여러 분리된 경로로 인해 물리적 신뢰성이 부족하다.
• 제안하는 해밀토니안 세계 모델은 관찰을 구조화된 잠재 위상 공간에 인코딩한다.
• 모델의 상태 진화는 제어(control), 감쇠(dissipation), 잔류항이 포함된 해밀토니안 역학을 따르도록 설계되었다.
• 해밀토니안 구조를 도입함으로써 모델은 해석 가능성, 데이터 효율성, 장기적 안정성을 개선할 수 있다.
• 실제 로봇 환경의 마찰, 접촉 등 복잡한 물리 현상을 다루는 데 유용하다.