절차적 데이터 향상을 통한 더욱 풍부한 재질 생성 연구

재질(material) 생성을 위한 생성 모델(Generative models)은 가용 가능한 학습 데이터의 품질과 표현력(expressivity)에 의해 근본적으로 제한됩니다. 확산 항(diffuse term)과 단일 로브(single-lobe) 정반사(specular) 성분을 결합한 단순 물리 기반 렌더링 (PBR) 재질은 학습에 흔히 사용되지만, 실제 재질에 존재하는 많은 중요한 시각적 효과를 포착하기에는 불충분합니다. 본 연구에서는 단일 GGX 정반사 로브를 더 넓은 범위의 비확산(non-diffuse) 효과를 포착하는 계층형 모델(layered model)로 증강함으로써, 이러한 단순 PBR 재질을 더 표현력이 풍부한 재질로 향상시키는 방법을 제시합니다. 단순한 재질에서 시작하여, 물리적 사전 지식(physical priors)에 따라 대응하는 다중 로브 비확산 성분을 절차적으로 구축함으로써 먼지(dust), 클리어코트(clearcoat), 계층적 산란(layered scattering)과 같은 효과를 가능하게 합니다. 다운스트림 애플리케이션을 위한 압축된 표현을 제공하기 위해, 우리는 이 비확산 성분을 공유된 6D 잠재 공간(latent space)을 가진 신경 재질(neural material)로 인코딩하며, 여기서 각 재질 인스턴스는 두 개의 잠재 텍스처(latent textures)로 표현되고 사전 학습된 범용 MLP에 의해 디코딩됩니다. 우리는 재질 생성을 지원하기 위해 잠재 공간을 추가로 정규화(regularize)합니다. 결과적으로 생성된 신경 재질 데이터셋은 더욱 풍부한 재질 생성을 위한 생성 모델 학습을 가능하게 합니다. 이 응용 사례를 입증하기 위해, 우리는 비디오 확산 모델(video diffusion model)을 미세 조정(finetune)하여 우리의 다중 로브 재질을 인코딩하는 신경 잠재 텍스처를 생성하도록 하며, 실행 가능성의 증거로서 생성 결과를 제시합니다. 우리의 절차적 데이터 향상 접근 방식은 재질 생성의 표현력을 향상시키는 중요한 단계입니다.