CompoSE: 부품 인식 제어를 통한 3D 형상의 구성적 합성 및 편집

고품질 3D 콘텐츠를 생성하고 편집하는 것은 컴퓨터 그래픽스(Computer Graphics) 분야의 핵심적인 과제로 남아 있습니다. 우리는 부품 인식 제어(Part-aware control)를 통해 3D 형상의 구성적 합성 및 편집(Compositional Synthesis and Editing)을 수행하는 새로운 방법론인 CompoSE를 소개함으로써 이 과제를 해결합니다. 우리의 방법은 특정 공간적 구성(Spatial configuration)으로 배치된 별개의 객체 부품을 나타내는 일련의 거친 기하학적 기본 도형(Coarse geometric primitives, 예: 경계 상자(Bounding boxes))을 입력으로 받아, 개별 부품의 국소적이고 세밀한(즉, 구성적인(Compositional)) 편집을 지원하는 부품 분리형 3D 객체를 출력으로 합성합니다. 우리 방법론을 가능하게 하는 핵심 통찰은 각 부품을 국소적으로 처리하는 것과 부품 간의 문맥 정보(Contextual information)를 전역적으로 집계하는 것을 교대로 수행하는 디퓨전 트랜스포머(Diffusion Transformer) 아키텍처를 사용하는 것이며, 사용자의 입력에 대한 강력한 준수를 보장하는 새로운 조건화(Conditioning) 기술을 특징으로 합니다. 중요한 점은, 우리의 방법이 사용자의 거친 레이아웃 가이드(Coarse layout guidance)로부터 부품 의미론(Part semantics)과 대칭성(Symmetries)을 직접 추론하는 법을 학습하며, 부품 수준의 텍스트 프롬프트(Text prompts)를 필요로 하지 않는다는 것입니다. 우리는 우리 방법이 문맥 인식 교체(Context-aware substitution), 추가(Addition), 삭제(Deletion), 그리고 스타일을 유지하는 크기 조정(Style-preserving resizing) 작업을 포함하여 강력한 부품 수준의 편집 기능을 가능하게 함을 입증합니다. 우리는 광범위한 실험을 통해, 객관적 지표와 LLM 기반 평가를 통해 측정했을 때 우리 방법이 가이드된 합성(Guided synthesis)에서 기존 방식들을 크게 능가함을 보여줍니다.