다중 뷰 이미지로부터 신경 재질(Neural Materials) 추출하기

신경 재질 (Neural materials)은 복잡한 정반사 (specular reflections) 및 산란 효과 (scattering effects)를 압축된 범용 기저 (universal basis)로 표현할 수 있습니다. 그러나 이러한 재질을 획득하고 제작하는 것은 여전히 어려운 과제로 남아 있습니다. 본 논문에서는 이미지로부터 공간적으로 변화하는 신경 재질 (spatially varying neural materials)을 추출하기 위한 미분 가능한 역 렌더링 (differentiable inverse rendering) 방법인 NeuMatEx를 제안합니다. 신경 재질 잠재 공간 (neural material latent spaces)의 비선형 구조로 인해 단순한 역 렌더링을 통한 최적화는 불가능합니다. 이를 해결하기 위해, 우리는 이미지로부터 초기 기본 색상 (base color), 신경 재질 잠재 변수 (neural material latents), 그리고 우연적 불확실성 가이드 (aleatoric uncertainty guides)를 직접 예측하는 대규모 재질 재구성 모델 (Large Material Reconstruction Model, LMRM)을 학습시킵니다. 이러한 재질 사전 정보 (material prior)는 양호한 초기화 상태를 제공하며, 역 경로 추적 (inverse path tracing)을 사용하는 후속 최적화 과정을 더 잘 제약합니다. 예측된 불확실성은 신뢰도가 높은 영역을 LMRM 예측값에 더 단단히 고정함으로써, 조명과 복잡한 정반사 효과가 재질에 구워지는 (baked into) 것을 방지하여 추가적인 도움을 줍니다. 합성 및 실제 자산에 대한 실험 결과, NeuMatEx는 PBR 기반 방법들보다 더 나은 시각적 품질과 재질 분해 (material decomposition) 성능으로 복잡한 재질을 추출함을 보여줍니다.