3DPhysVideo: 3D 장면 재구성 및 물리 시뮬레이션을 통한 비디오 생성을 위한 일관성 가이드 Flow SDE

요약

3DPhysVideo는 단일 이미지로부터 물리적으로 사실적인 비디오를 생성하기 위해 3D 장면 재구성과 물리 시뮬레이션을 결합한 새로운 training-free 파이프라인입니다. Consistency-Guided Flow SDE를 통해 기존 비디오 모델을 재사용하여 360도 기하 구조 재구성과 물리적 역학이 반영된 고품질 비디오 합성을 가능하게 합니다. 이를 통해 유체 역학 및 다중 객체 상호작용과 같은 복잡한 물리적 시나리오에서도 뛰어난 성능을 보여줍니다.

핵심 포인트

• 단일 이미지에서 물리적으로 타당한 비디오를 생성하는 training-free 파이프라인 제안
• Consistency-Guided Flow SDE를 활용하여 기존 I2V Flow 모델을 3D 재구성과 물리 시뮬레이션 가이드로 재사용
• 포인트 클라우드 기반의 시점 합성 및 물리 솔버 적용을 통한 물리적 역학 구현
• 유체 및 다중 객체 상호작용 장면에서 기존 SOTA 모델 대비 우수한 성능 입증
• 단일 GPU 환경에서도 효율적으로 실행 가능한 구조