텍스처 공간 기반 재질 확산 모델링 방법론 제안

본 논문에서는 3D 객체를 위한 고품질 재질을 전적으로 텍스처 공간(texture space)에서 생성하는 방법을 제시합니다. 저희는 텍스트 안내형 재질 생성, 다중 시점 재질 생성 및 재질 업스케일링을 위해 비디오 확산 트랜스포머(video diffusion transformer)를 미세 조정(finetune)했습니다. 핵심 아이디어는 이미지 공간에서 텍스처 공간으로의 알려진 투영(projection)을 활용하여, 확산 과정이 임의의 기하학적 구조와 텍스처 매개변수화 전반에 걸쳐 일반화될 수 있도록 하는 것입니다. 이 접근 방식은 또한 비디오 및 다중 시점 확산 모델에 내재된 시점 일관성(view consistency) 문제를 회피합니다. 텍스처 공간이 두 차원이기 때문에, 사전 학습된 비디오 확산 모델의 강력한 사전 지식(strong priors)을 재사용할 수 있습니다. 저희는 이 방법을 알려지지 않은 조명 조건에서 촬영된 포즈 사진으로부터 고품질 재질을 재구성하는 데 적용했을 뿐만 아니라, 텍스트 및 이미지 안내형 재질 생성에도 적용했습니다. 본 방법은 높은 해상도(8K), 100개 이상의 입력 시점, 그리고 신경 재질 표현(neural material representations)까지 확장 가능합니다. 정량적 및 정성적 평가에서 저희는 재질 생성 및 재구성 분야에서 최첨단(state-of-the-art) 결과를 보여줍니다.