실행 가능한 세계 표현 (Actionable World Representation)

요약

본 논문은 물리적 세계를 모델링하기 위해 객체의 상태를 명시적으로 표현하는 'WorldString'이라는 새로운 신경망 구조를 제안합니다. WorldString은 포인트 클라우드나 RGB-D 비디오 스트림을 통해 객체의 상태 매니폴드를 학습하며, 디지털 트윈으로서 물리적 세계 모델의 핵심 빌딩 블록 역할을 수행합니다. 또한, 모델이 완전 미분 가능한 구조를 가져 향후 정책 학습 및 신경 역학과의 통합이 용이합니다.

핵심 포인트

• 물리적 세계의 기본 단위인 객체를 실행 가능한 엔티티로 모델링하는 방법론 제안
• 포인트 클라우드 및 RGB-D 비디오 스트림으로부터 직접 객체의 상태 매니폴드 학습 가능
• 디지털 트윈 역할을 수행하는 물리적 세계 모델의 기초 빌딩 블록으로서의 기능
• 완전 미분 가능한(fully differentiable) 구조를 통한 정책 학습 및 신경 역학과의 통합 지원