CGGS: 1인칭 시점 3D 장면 생성을 위한 일관성 증강 기하학적 가우시안 스플래팅 (Geometric Gaussian Splatting)

원문 발행 2026. 07. 04. 20:06원문 언어 영어AI 한국어 번역arXiv cs.GR (Graphics) 원문 보기

요약

CGGS는 1인칭 시점(ego-centric) 3D 장면 생성 시 발생하는 시점 불일치와 기하학적 왜곡을 해결하기 위한 새로운 텍스트-to-3D 프레임워크입니다. 다중 시점 확산 모델과 기하학적 최적화 기법을 결합하여 일관성 있고 정확한 3D 콘텐츠 생성을 가능하게 합니다.

핵심 포인트

1인칭 시점의 시점 일관성 및 의미론적 정렬 문제 해결
Ego-centric Generator를 통한 고충실도 2D 콘텐츠 생성
Layout Decorator를 활용한 조밀한 포인트 클라우드 초기화
MID 손실 함수를 통한 3D 가우시안 재구성 품질 향상

제한된 시점 중첩과 장면 해석에 미치는 개별 관점의 지배적인 영향으로 인해, 1인칭 시점 (ego-centric) 3D 장면 생성에는 여전히 과제가 남아 있습니다. 이러한 요인들은 시점 일관성(viewpoint-consistent)과 의미론적 정렬(semantically aligned)이 이루어진 시각적 콘텐츠의 생성뿐만 아니라, 정확한 기하학적 구조의 구축을 방해합니다. 본 논문에서는 1인칭 시점 장면 생성에서 3D 콘텐츠 인지 능력을 향상시키고 기하학적 왜곡을 해결하는 것을 목표로 하는 텍스트-to-3D 프레임워크인 CGGS를 제안합니다. 첫째, 텍스트 설명과 일치하는 일관되고 고충실도의 2D 콘텐츠를 생성하기 위해, 일관성 증강 손실 (consistency-augmented loss)을 사용하여 다중 시점 잠재 확산 모델 (Multi-View Latent Diffusion Model)을 미세 조정(fine-tuning)한 Ego-centric Generator를 제안합니다. 그다음, Layout Decorator는 광학 흐름 (optical flow)과 포인트 트랙 대응 관계 (point-track correspondence)를 활용하여 깊이 (depth)를 추정함으로써, 1인칭 2D 사전 정보 (priors)로부터 거친 레이아웃으로서의 조밀한 포인트 클라우드 (dense point clouds)를 생성합니다. 이러한 초기화를 바탕으로, 시각적 품질과 기하학적 구조를 개선하기 위한 계층적 최적화 기법과 결합된 엔트로피 기반 상호 정보량 깊이 손실 (Mutual Information Depth Loss, MID)을 통해 3D 가우시안 재구성 (3D Gaussian reconstruction)을 강화하는 Geometric Refiner를 제안합니다. 종합적인 실험을 통해 extcolor{softred}{CGGS}가 일관되고 정확한 텍스트 기반 3D 장면을 생성하는 데 있어 이전 방법들보다 뛰어난 성능을 보임을 입증합니다. 프로젝트 페이지: https://cggs-26.github.io/cggs26/.

AI 자동 생성 콘텐츠

원문 바로가기

CGGS: 1인칭 시점 3D 장면 생성을 위한 일관성 증강 기하학적 가우시안 스플래팅 (Geometric Gaussian Splatting)

요약

핵심 포인트

댓글