TOPOS: 고충실도 및 효율적인 산업 등급 3D Head 생성

고충실도(High-fidelity) 3D Head 생성은 영화, 애니메이션 및 비디오 게임 산업에서 매우 중요한 역할을 합니다. 산업용 파이프라인(Pipeline)에서 스튜디오는 일반적으로 모든 Head 자산에 대해 고정된 참조 토폴로지(Topology)를 적용하는데, 이러한 깨끗하고 균일한 토폴로지는 프로덕션 수준의 리깅(Rigging), 스키닝(Skinning) 및 애니메이션(Animation)을 위한 전제 조건이기 때문입니다. 본 논문에서 우리는 이러한 산업 표준 토폴로지 하에서 기하학적 구조(Geometry)와 외관(Appearance)을 공동으로 복원하도록 설계된, 단일 이미지 조건부 3D Head 생성을 위한 프레임워크인 TOPOS를 제시합니다. 일관되지 않은 토폴로지와 수많은 정점(Vertex)을 가진 삼각형 메쉬(Triangle mesh)를 생성하여 의미론적 대응(Semantic correspondence)과 자산 수준의 재사용을 방해하는 일반적인 3D 생성 모델과 달리, TOPOS는 고정된 스튜디오 스타일의 토폴로지를 가진 Head 메쉬를 생성하여 생성된 모든 Head 간에 일관된 정점 수준의 대응을 가능하게 합니다. 이 통합된 토폴로지 하에서 Head를 모델링하기 위해, 우리는 TOPOS-VAE라고 명명된 새로운 변이형 오토인코더(Variational Autoencoder, VAE) 구조를 제안했습니다. 멀티모달 대규모 언어 모델(Multi-modal Large Language Models, MLLMs)에서 영감을 받아, 우리의 TOPOS-VAE는 Perceiver Resampler를 활용하여 다양한 토폴로지를 가진 Head 메쉬에서 샘플링된 입력 포인트 클라우드(Pointclouds)를 목표 참조 토폴로지로 변환합니다. TOPOS-VAE의 구조화된 잠재 공간(Latent space)을 기반으로, 우리는 단일 이미지로부터 고충실도 Head 메쉬를 효율적으로 생성하기 위해 Rectified Flow Transformer인 TOPOS-DiT를 학습시킵니다. 나아가 우리는 멀티모달 이미지 생성 모델을 미세 조정(Fine-tuning)하여 동일한 초상화 이미지로부터 재조명 가능한(Relightable) UV 텍스처 맵을 생성하는 엔드투엔드(End-to-end) 모듈인 TOPOS-Texture를 제시합니다. 생성된 텍스처는 하부의 메쉬 기하학 구조와 공간적으로 정렬되며 고주파 외관 세부 사항을 충실하게 보존합니다. 광범위한 실험을 통해 TOPOS가 3D Head 생성에서 최첨단(State-of-the-art) 성능을 달성함을 입증하였으며, 이는 고전적인 얼굴 재구성(Face reconstruction) 방법과 일반적인 3D 객체 생성 모델을 모두 능가하여 디지털 휴먼 제작에 대한 효과를 강조합니다.