대화형 콘텐츠 워크플로우를 위한 Human-in-the-Loop 방식의 아틀라스 기반 3D 에셋 세그멘테이션 (Segmentation)

3D 에셋을 의미 있는 영역으로 세그멘테이션 (Segmentation)하는 것은 특히 세그멘테이션 기준이 애플리케이션에 따라 달라지고 사용자 제어가 필요한 경우 여전히 어려운 과제로 남아 있습니다. 본 논문에서는 대화형 미디어, 게임 및 XR 콘텐츠 워크플로우를 위해 3D 모델로부터 세그멘테이션된 2D 파라미터화된 아틀라스 (Atlas)를 생성하는 Human-in-the-loop 파이프라인을 제시합니다. 우리의 방법은 먼저 샘플링된 표면 포인트들에 대해 탐욕적 집합 커버 (Greedy set cover) 전략을 사용하여 렌더링된 뷰의 컴팩트한 집합을 선택한 다음, SAM 2와 Label Studio를 사용하여 이러한 뷰들의 대화형 세그멘테이션 (Segmentation)을 지원합니다. 결과물인 마스크 (Mask)는 모델의 UV 파라미터화 (UV parameterization)로 역투영되어, 영역별 재질 할당 (Material assignment), 스타일 전이 (Style transfer), 시맨틱 레이블링 (Semantic labeling)과 같은 다운스트림 제작 작업을 지원하는 통합된 세그멘테이션 아틀라스 (Segmented atlas)를 생성합니다. 우리는 8개의 문화유산 객체에 대한 데모 기반 기술 평가를 통해 이 파이프라인을 평가합니다. 결과에 따르면, 이 접근 방식은 다양한 기하학적 구조에 걸쳐 사용 가능한 세그멘테이션 아틀라스 (Segmented atlases)를 생성할 수 있는 동시에, 특히 미세 구조, 공동 (Cavities), 그리고 약한 외관 경계와 같이 수동 수정이 반복적으로 발생하는 원인들을 밝혀냅니다.