편집 가능한 3D Gaussian Splatting을 위한 강건한 사전 가이드 기반 세그멘테이션

3D Gaussian Splatting (3D-GS)는 실시간 3D 장면 재구성 (3D scene reconstruction)을 가능하게 하지만, 객체 제거, 추출, 재채색 (recoloring)과 같은 편집 작업을 위한 강건한 세그멘테이션 (segmentation) 기능이 부족합니다. 2D 세그멘테이션을 3D 도메인으로 끌어올리는 기존 방식들은 시점 불일치 (view inconsistencies)와 거친 마스크 (coarse masks) 문제로 어려움을 겪습니다. 본 논문에서는 경계 충실도 (boundary fidelity) 및 미세 구조 보존 (fine-structure preservation) 측면에서 표준 SAM의 한계를 해결하기 위해, Segment Anything Model High Quality (SAM-HQ)를 활용하여 정확한 2D 마스크를 생성하는 새로운 프레임워크를 제안합니다. 주어진 장면 내의 모든 대상 객체에 대해 강건한 3D 세그멘테이션을 달성하기 위해, 학습된 사전 정보 (priors)를 통해 다시점 일관성 (multiview consistency)을 강제함으로써 3D Gaussian에 레이블을 할당하는 사전 가이드 기반 레이블 재할당 (prior-guided label reassignment) 방법을 도입합니다. 우리의 접근 방식은 최첨단 (state-of-the-art) 세그멘테이션 정확도를 달성하며, 높은 시각적 충실도 (visual fidelity)를 유지하면서 상호작용 가능한 실시간 객체 편집을 가능하게 합니다. 정성적 결과는 우수한 경계 보존 능력을 입증하며, 가상 현실 (VR) 및 로보틱스 (robotics) 분야에서의 실용적 유용성을 보여줌으로써 3D 장면 편집을 발전시킵니다.