CNS-Edit++: 결합된 신경 형상 표현을 이용한 카테고리 불가지론적 3D 편집
요약
CNS-Edit++는 결합된 신경 형상(CNS) 표현과 신경 특징 볼륨 최적화를 활용하여 카테고리에 구애받지 않는 3D 형상 편집 프레임워크를 제안합니다. 파운데이션 모델을 통해 복사, 크기 조정, 삭제 등 다양한 편집 연산을 수행하며 높은 정밀도를 보여줍니다.
핵심 포인트
- 결합된 신경 형상(CNS) 표현을 통한 고수준 의미론 및 국소적 조작 구현
- 카테고리 특정적 모델을 넘어 카테고리 불가지론적 편집으로 일반화
- 복사, 삭제, 드래그 등 다양한 3D 형상 편집 연산자 제공
- KV-캐시 교체 및 잠재 특징 정규화를 통한 편집 영역 외 보존 기술 도입
본 논문은 결합된 신경 형상 (Coupled Neural Shape, CNS) 표현과 신경 특징 볼륨 (Neural Feature Volume) 최적화를 기반으로 구축된 잠재 공간 (Latent-space) 3D 형상 편집 프레임워크를 제시합니다. 본 연구는 결합된 신경 형상 최적화에 기반한 CNS-Edit을 확장하여, 카테고리 특정적 (Category-specific) 결합 표현을 파운데이션 모델 (Foundation models)을 이용한 카테고리 불가지론적 (Category-agnostic) 3D 형상 편집으로 일반화한 CNS-Edit++를 제안합니다. 결합된 신경 형상 (CNS) 표현은 고수준의 형상 의미론 (Shape semantics)을 포착하는 전역 잠재 코드 (Global latent code)와 국소적 형상 조작 (Local shape manipulation)을 위한 공간적 문맥 (Spatial context)을 제공하는 3D 신경 특징 볼륨을 결합합니다. 그런 다음, 우리는 주어진 편집 작업에 따라 이 두 구성 요소를 공동 최적화하는 결합된 신경 형상 최적화 절차를 공식화합니다. 우리의 프레임워크는 카테고리 특정적 3D 인버전 (3D inversion) 모델과 카테고리 불가지론적 3D 파운데이션 모델 모두에서 구현될 수 있습니다. 우리는 복사 (Copy), 크기 조정 (Resize), 삭제 (Delete), 혼합 (Mix), 점 단위 드래그 (Point-wise drag), 영역 단위 드래그 (Region-wise drag)를 포함한 다양한 형상 편집 연산자를 제공하며, 각 연산자는 CNS 최적화를 가이드하기 위한 목적 함수 (Objective)로 공식화됩니다. 편집 영역 외부의 영역을 보존하기 위해, 우리는 KV-캐시 교체 (KV-cache replacement) 및 잠재 특징 정규화 (Latent feature regularization)라는 두 가지 상호 보완적인 영역 단위 제어 메커니즘을 추가로 도입합니다. 다양한 3D 생성 모델에 걸친 광범위한 정량적 및 정성적 평가는 최첨단 (State-of-the-art) 솔루션 대비 우리 방식의 강력한 능력을 입증합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.GR (Graphics)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기