SceneFrom3D: 객체 수준 제어를 위한 뷰 스케줄링 기반의 기하학 조건부 실외 3D 장면 생성
요약
SceneFrom3D는 실외 3D 장면 생성 시 발생하는 뷰 스케줄링 병목 현상을 해결하기 위해 자동 뷰 스케줄링 프레임워크를 제안합니다. 유향 생성 그래프를 통해 뷰를 자동으로 정의하며, 객체 수준의 제어를 통해 고품질의 기하학적 일관성을 유지합니다.
핵심 포인트
- 유향 생성 그래프를 활용한 자동 뷰 스케줄링 프레임워크 제안
- 객체 수준의 조건부 제어를 통한 외형 및 기하학적 일관성 확보
- 실외 장면 생성의 주요 병목인 뷰 확보 문제 해결
- SOTA 수준의 기하학 조건부 실외 3D 장면 생성 성능 입증
기하학 조건부 (Geometry-conditioned) 3D 장면 생성은 사용자가 제공한 기하학적 구조로부터 3D 환경을 생성할 수 있게 하여, 장면 구조와 객체 배치에 대한 직접적인 제어를 제공합니다. 이러한 3D 장면을 생성하기 위해, 현재의 방법들은 일반적으로 먼저 뷰 스케줄 (view schedule)을 정의하고, 스케줄링된 뷰를 따라 다중 뷰 관측치 (multi-view observations)를 합성하며, 마지막으로 생성된 이미지로부터 3D 표현 (3D representation)을 재구성하는 3단계 설계를 채택합니다. 그러나 대규모의 비구조적이고 경계가 없는 기하학적 구조로 인해 충분한 커버리지를 제공하면서도 안정적인 생성을 지원하는 뷰를 확보하기 어려운 실외 장면의 경우, 뷰 스케줄을 정의하는 것이 주요 병목 현상이 됩니다. 이러한 병목 현상을 해결하기 위해, 우리는 실외 입력 기하학으로부터 뷰를 자동으로 스케줄링하는 프레임워크인 SceneFrom3D를 제안합니다. SceneFrom3D는 노드는 앵커 뷰 (anchor views)를 나타내고 엣지는 보간 궤적 (interpolation trajectories)을 나타내는 유향 생성 그래프 (directed generation graph)를 구축하여, 어떤 뷰를 합성할지, 어떤 뷰 쌍을 보간할지, 그리고 어떤 순서로 생성을 진행할지를 정의합니다. 자동 뷰 스케줄링을 넘어, SceneFrom3D는 객체 수준의 조건부 (object-level conditioning)를 통해 제어 가능성을 더욱 향상시킵니다. 이는 각 객체에 외형 가이드를 위한 식별 이미지 (identity image)와 입력 기하학에 대한 영역별 제어를 위한 기하학 준수 (geometry-adherence) 파라미터를 할당합니다. 실험을 통해 SceneFrom3D가 최첨단 (state-of-the-art) 기하학 조건부 실외 3D 장면 생성을 달성하며, 제어 가능한 객체 외형과 기하학 준수성을 가진 고품질 장면을 생성함을 입증하였습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.GR (Graphics)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기