Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
3D-GIMP는 3D Gaussian Splatting 환경에서 고충실도 객체 제거를 위해 제안된 새로운 하이브리드 인페인팅 패러다임입니다. 단 한 번의 생성적 인페인팅과 3D 인지 PatchMatch를 결합하여 다중 뷰 불일치 문제를 해결하고 렌더링 속도와 일관성을 높였습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.GR (Graphics)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기최근 3D 장면 편집(3D scene editing)의 발전은 입력 뷰를 업데이트하기 위해 반복적인 확산 모델(diffusion models)을 활용해 왔습니다. 그러나 이 과정은 계산 비용이 많이 들며 선명한 디테일을 생성하는 데 어려움을 겪습니다. 한편, "환각 드리프트(hallucination drift)"는 빈번하게 다중 뷰 불일치(multi-view inconsistencies)를 유발하여, 새로운 시점(novel viewpoints)을 렌더링할 때 구조적 아티팩트(structural artifacts)를 초래합니다. 이 문제를 해결하기 위해, 우리는 3D Gaussian Splatting에서 고충실도 객체 제거를 위해 설계된 새로운 하이브리드 패러다임인 3D-GIMP (3D Gaussian Inpainting Meets Patch Matching)를 제안합니다. 모든 뷰를 확산(diffusing)시키는 대신, 3D-GIMP는 외관 사전 정보(appearance prior) 역할을 하는 핵심 참조 뷰(key reference view)에 대해 단 한 번의 생성적 인페인팅(generative inpainting)을 수행합니다. 그런 다음, 우리는 대응 관계 매칭(correspondence matching)을 통해 이러한 참조 텍스처를 나머지 모든 뷰로 전파하는 3D 인지 PatchMatch 알고리즘을 도입하여, 프레임별 확산의 확률적 특성을 효과적으로 우회합니다. 반복적인 생성보다 재구성 일관성(reconstructive consistency)을 우선시함으로써, 3D-GIMP는 수학적으로 일관된 3D 재구성을 보장하는 동시에 임의의 해상도에서 고주파 디테일(high-frequency details)을 유지합니다. 우리의 실험은 3D-GIMP가 다중 뷰에서 확산을 사용하는 이전 방법들과 경쟁력 있는 인페인팅 품질을 달성할 뿐만 아니라, 렌더링 속도와 뷰 일관성(view consistency) 측면에서 이러한 방법들을 능가함을 입증합니다.