HAFMat: 단일 이미지 인간 재질 추정을 위한 하이브리드 사전 정보 가이드 적응형 융합

물리 기반 렌더링 (Physically based rendering, PBR) 재질 추정은 가상 콘텐츠 생성, 재조명 (relighting), 디지털 휴먼 렌더링 분야에서 폭넓게 응용되는 근본적인 외관 분해 (appearance decomposition) 작업입니다. 그러나 조명, 기하학 (geometry), 반사율 (reflectance)이 관찰된 외관에 심하게 얽혀 있기 때문에, 단일 인간 이미지로부터 PBR 재질을 추정하는 것은 여전히 매우 부정치 문제 (ill-posed)로 남아 있습니다. 이러한 모호성을 완화하기 위해, 우리는 단일 이미지 인간 재질 추정을 위한 하이브리드 사전 정보 가이드 프레임워크인 HAFMat을 제안합니다. 우리의 방법은 외관, 신체 기하학, 구조, 그리고 사전 학습된 모델로부터의 사전 재질 예측을 포함하여 상호 보완적인 단서들을 인코딩하는 가이드 맵 (guidance maps)을 도입합니다. 핵심적인 관찰 결과는 이러한 가이드 단서들이 이질적 (heterogeneous)이라는 점입니다. 즉, 일부 단서는 주로 질감 수준 (texture-level)의 제약을 제공하는 반면, 다른 단서들은 더 높은 수준의 의미론적 정보 (semantic information)를 전달합니다. 이 특성을 활용하기 위해, 우리는 가이드 특징 (guidance features)을 서로 다른 단계에서 디코더 특징 (decoder features)과 적응적으로 융합하는 다층 적응형 특징 융합 메커니즘 (Multi-layer Adaptive Feature Fusion Mechanism)을 설계합니다. 이러한 설계는 질감 중심의 단서와 의미론 중심의 단서가 적절한 수준에서 재질 디코딩을 가이드할 수 있게 하여, 더욱 정확하고 물리적으로 타당한 재질 추정을 가능하게 합니다. 합성 데이터와 실제 데이터 모두에 대한 광범위한 실험을 통해, 우리의 방법이 재질 추정 및 다운스트림 재조명 (relighting) 작업에서 최첨단 (state-of-the-art) 성능을 달성함을 입증합니다.