VGGT-Edit: 잔차 필드 예측 (Residual Field Prediction)을 통한 피드포워드 네이티브 3D 장면 편집

요약

VGGT-Edit은 텍스트 조건부 네이티브 3D 장면 편집을 위한 피드포워드 프레임워크입니다. 기존의 2D-리프팅 방식이 가진 공간적 일관성 부족 문제를 해결하기 위해, VGGT-Edit은 깊이 동기화된 텍스트 주입과 잔차 변환 헤드를 사용하여 3D 기하학적 변위를 직접 예측합니다. 이 프레임워크는 높은 충실도와 교차 뷰 일관성을 보장하는 다중 항 목적 함수를 통해, 기존의 편집 방법들보다 월등히 우수한 결과를 보여줍니다.

핵심 포인트

• VGGT-Edit은 피드포워드 아키텍처 기반의 네이티브 3D 장면 편집 프레임워크이다.
• 기존의 2D-리프팅 방식 대신, 깊이 동기화된 텍스트 주입과 잔차 변환 헤드를 사용하여 3D 기하학적 변위를 직접 예측한다.
• 다중 항 목적 함수와 3D 일치 필터링을 통해 높은 충실도와 교차 뷰 일관성을 확보했다.
• 새롭게 구축한 DeltaScene 데이터셋은 그라운드 트루스 품질을 보장하며, 모델 학습에 활용된다.