Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
3D Foundation Models를 활용하여 SfM 과정 없이 고품질 3D Gaussian Splatting 재구성을 수행하는 새로운 방법을 제안합니다. 깊이 가이드 손실 함수와 MLP 기반 포즈 정밀화 모듈을 통해 희소 뷰 환경에서도 빠른 수렴과 높은 품질을 달성합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.GR (Graphics)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기본 논문은 전통적인 SfM (Structure-from-Motion) 없이 고품질의 3D Gaussian Splatting (3DGS) 재구성을 수행하는 빠른 방법을 소개합니다. 제안된 접근 방식은 카메라 포즈 (camera pose) 및 포인트 클라우드 (point-cloud) 초기화를 위해 3D Foundation Models (3DFMs)를 활용하며, 이후 깊이 가이드 손실 함수 (depth-guided loss function)를 사용하여 카메라 포즈와 Gaussian primitives를 공동으로 최적화합니다. 이를 통해 단 50-60개의 입력 뷰만 있는 거친 초기화 상태에서도 빠른 수렴이 가능합니다. 희소 뷰 (sparse-view) 시나리오에서 재구성 품질을 더욱 향상시키기 위해, 파운데이션 모델의 깊이 가이드 감독 (depth-guided supervision)과 함께 MLP 기반의 포즈 정밀화 (pose refinement) 모듈이 도입되었습니다. Mip-NeRF 360, Tanks and Temples, 그리고 RobustNeRF에 대한 광범위한 실험을 통해, 제안된 방법이 장면당 학습 시간을 약 3분으로 단축하면서도 경쟁력 있는 재구성 품질 (23.61 dB PSNR, 0.19 LPIPS)을 달성함을 입증했습니다. 제안된 방법은 기존 파이프라인에 소요되는 시간의 극히 일부만 사용하여 즉시 사용 가능한 3DGS 모델을 생성하므로, 로보틱스, VR, 자율 주행 분야의 근실시간 (near real-time) 애플리케이션에 적합합니다.