GeoState: 3D 월드 모델링을 위한 시점 분리 기하 상태 학습

요약

본 논문은 3D 월드 모델링의 핵심 문제인 시점 의존성을 해결하기 위해 GeoState를 제안합니다. GeoState는 장면 상태의 진화를 카메라 관측으로부터 분리하여, 예측된 상태가 다양한 카메라 조건에서 일관되게 디코딩될 수 있도록 합니다. 이를 통해 기하학적으로 정확하고 일반화 성능이 뛰어난 3D 월드 모델을 구현할 수 있습니다.

핵심 포인트

• GeoState는 시점 의존성을 제거한 3D 장면 상태 표현입니다.
• 장면 토크나이저가 다중 시점 특징을 시점 분리된 상태로 집계합니다.
• 자기회귀적 모델이 미래 상태를 예측하고, 카메라 움직임은 별도로 처리합니다.
• Waymo 데이터셋 등에서 기존 모델 대비 우수한 성능과 제로샷 일반화 능력을 입증했습니다.