CubePart: 개방형 어휘(Open-Vocabulary) 기반의 부품 제어 가능 3D 생성 모델

게임 및 시뮬레이션에서 사용되는 상호작용형 3D 에셋(assets)은 애니메이션, 물리(physics), 스크립트 기반 동작을 지원하기 위해 일반적으로 특정 의미론적 부품(semantic parts)으로 분해됩니다. 그러나 대부분의 생성형 3D 모델은 단일 구조의 메쉬(monolithic meshes)를 생성하거나, 애플리케이션별 요구 사항에 맞출 수 없는 임의적인 부품 분해를 생성합니다. 본 논문에서는 추론 시점에 부품 구조를 명시적인 제어 신호(control signal)로 노출하는, 개방형 어휘(open-vocabulary) 기반의 부품 제어 가능 3D 메쉬 생성을 위한 생성 프레임워크인 CubePart를 제안합니다. 전역 텍스트 프롬프트(global text prompt)와 개방형 부품 이름 목록으로 표현된 사용자 정의 부품 스키마(parts schema)가 주어지면, 당사의 방법은 지정된 의미론적 구조를 준수하면서 하나의 일관된 객체로 조립되는 일련의 메쉬 세트(스키마 요소당 하나씩)를 생성합니다. 이러한 기능을 구현하기 위해, 대규모의 개방형 어휘 및 부품 레이블이 지정된 3D 데이터셋을 구축하기 위한 확장 가능한 데이터 파이프라인과, 전역 형상 합성(global shape synthesis)과 부품 수준 디코딩(part-level decoding)을 분리하는 2단계 생성 아키텍처(two-stage generative architecture)를 도입합니다. 결과물로 생성된 에셋은 수동 후처리 없이 게임 엔진에 직접 통합되어 애니메이션 및 동작 스크립트에 의해 구동될 수 있음을 입증합니다. 프로젝트 페이지: https://cubepart.github.io/