3DMorph: 단일 이미지 가이드를 통한 국소적 3D 형상 편집 및 모핑

최근 3D 생성 (3D generation) 분야의 발전에도 불구하고, 기존 형상을 직관적으로 편집하는 기능은 여전히 제한적입니다. 잘 구축된 인페인팅 (inpainting) 도구의 도움을 받는 이미지와 달리, 메쉬 (mesh)와 같은 일반적인 3D 객체는 여전히 국소적 형상 편집 (local shape editing)을 위한 단순하고 효과적인 방법이 부족합니다. 기존의 접근 방식들은 종종 전역적 (global)이거나 특정 도메인에 국한되어 있으며, 복잡한 사용자 상호작용을 요구하거나, 기하학적 구조 (geometry)보다는 외관 (appearance, 색상 및 질감)에 집중하는 경향이 있습니다. 본 논문에서는 단일 이미지 가이드를 통한 국소적 3D 형상 편집 및 모핑 (morphing)을 위한 학습이 필요 없는 (training-free) 프레임워크인 3DMorph를 소개합니다. 원하는 형상 수정 사항이 담긴 편집된 이미지가 주어지면, 우리의 방법은 관련 3D 영역을 자동으로 국소화 (localize)하고, 수정되지 않은 영역은 보존하면서 2D의 수정 사항을 3D로 전이 (transfer)합니다. 또한 3DMorph는 원본 객체와 편집된 객체 사이의 중간 형상 생성을 가능하게 하여 디자인 탐색을 용이하게 합니다. 편집 품질을 벤치마킹하기 위해, 우리는 쌍을 이룬 정답 (ground-truth) 편집 데이터가 포함된 이미지 가이드 국소 3D 편집 벤치마크인 Delta3D를 도입합니다. 실험 결과에 따르면 3DMorph는 직관적인 2D 편집을 3D로 변환하며, 최신 (state-of-the-art) 생성 및 편집 방법들보다 뛰어난 성능을 보여줍니다.