SRUG: 생성 모델을 이용한 그림자 유도형 재조명 가능 도시 장면 생성

이미지나 비디오로부터 재조명 가능한 (relightable) 도시 장면을 생성하는 것은 매우 유용하지만, 매우 부정치 않은 문제 (ill-posed)입니다. 도시 환경은 일반적으로 경계가 없으며 가시 영역 너머로 확장됩니다. 그 결과, 장면의 많은 부분이 관찰되지 않은 상태로 남게 되지만, 이러한 보이지 않는 영역이 가시 영역에 그림자를 드리울 수 있습니다. 이러한 보이지 않는 영역에 의해 드리워지는 그림자를 합리적으로 모델링하는 것은 매우 어려우며, 재조명 가능한 도시 장면을 생성하는 데 있어 큰 장애물이 됩니다. 동시에, 희소한 입력 뷰 (sparse input views)와 복잡한 조명 조건은 재조명을 더욱 어렵게 만드는데, 이는 재질 분해 (material decomposition) 과정에서 심각한 모호성을 유발하기 때문입니다. 본 논문에서는 도시 장면의 재조명 문제를 해결하기 위해 설계된 새로운 프레임워크인 생성 모델을 이용한 그림자 유도형 재조명 가능 도시 장면 (Shadow-guided Relightable Urban Scene with Generation model, SRUG)을 제안합니다. SRUG는 그림자를 활용하여 3D 완성 (3D completion) 모델을 가이드함으로써 보이지 않는 영역의 기하 구조 (geometry)를 복원하고, 물리적으로 타당한 그림자 합성을 촉진합니다. 또한, SRUG는 대규모 재질 모델 (Large Material Model, LMM)을 적용하여 재질 감독 (material supervision)을 제공하고 장면의 재질 특성을 반복적으로 분해하는 반복적 재질 분해 (iterative material decomposition) 방식을 채택하여 견고한 재질 분해를 가능하게 합니다. 이러한 구성 요소들을 바탕으로, 우리는 도시 장면의 복잡한 조명을 포착하고 신뢰할 수 있는 재조명을 지원하는 물리 기반 조명 모델 (physically-based lighting model)을 도입합니다. 광범위한 정량적 평가와 시각적 비교를 통해, 우리의 방법이 새로운 뷰 합성 (novel view synthesis) 및 재조명 (relighting) 작업 모두에서 기존 방식보다 뛰어난 성능을 보임을 입증합니다.