비동기 디노이징을 통한 비디오 사전 지식 기반 통합 4D 월드 액션 모델링

요약

본 논문은 실시간 로봇 액션 실행과 고해상도 4D 월드 합성(비디오 + 3D 재구성)을 통합하는 새로운 프레임워크 X-WAM을 제안합니다. X-WAM은 기존 모델의 한계였던 2D 픽셀 공간만 모델링하는 문제를 해결하고, 사전 학습된 비디오 확산 모델의 강력한 시각적 지식을 활용하여 미래 세계를 예측합니다. 특히, 비동기 노이즈 샘플링(ANS)을 도입하여 실시간 액션 디코딩 효율성을 높이고 고해상도 비디오 생성 품질을 유지하는 균형 잡힌 접근 방식을 제시했습니다.

핵심 포인트

• X-WAM은 로봇 액션 실행과 4D 월드 합성(비디오+3D 재구성)을 단일 프레임워크로 통합합니다.
• 사전 학습된 Diffusion Transformer의 구조를 활용하여 공간 정보를 효율적으로 예측하고 미래 세계를 상상합니다.
• 비동기 노이즈 샘플링(ANS)을 통해 실시간 액션 디코딩 속도를 높이고 고해상도 비디오 생성 품질을 유지합니다.
• RoboCasa 및 RoboTwin 2.0 벤치마크에서 기존 방법 대비 우수한 재구성 및 생성 성능을 입증했습니다.