편집 가능한 3D Gaussian Splatting을 위한 강건한 사전 가이드 기반 세그멘테이션

요약

3D Gaussian Splatting(3D-GS)의 편집 가능성을 높이기 위해 SAM-HQ를 활용하여 정교한 2D 마스크를 생성하고, 이를 3D 도메인으로 확장하는 새로운 프레임워크를 제안합니다. 학습된 사전 정보를 통해 다시점 일관성을 강제함으로써 경계 충실도와 미세 구조를 보존하며, 실시간 객체 편집을 가능하게 합니다.

핵심 포인트

• SAM-HQ를 활용하여 기존 2D 세그멘테이션의 거친 마스크 문제를 해결하고 높은 경계 충실도 확보
• 사전 가이드 기반 레이블 재할당 방식을 통해 3D Gaussian에 대한 다시점 일관성(multiview consistency) 달성
• 객체 제거, 추출, 재채색 등 상호작용 가능한 실시간 3D 장면 편집 지원
• VR 및 로보틱스 분야에서 활용 가능한 높은 시각적 충실도와 세그멘테이션 정확도 입증