Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
SRUG는 그림자를 활용해 보이지 않는 영역의 기하 구조를 복원하고 재조명 가능한 도시 장면을 생성하는 새로운 프레임워크입니다. LMM을 통한 반복적 재질 분해와 물리 기반 조명 모델을 사용하여 복잡한 도시 환경의 조명 문제를 해결합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.GR (Graphics)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기이미지나 비디오로부터 재조명(Relightable) 가능한 도시 장면을 생성하는 것은 매우 유용하지만, 매우 부정치 않은 문제(Ill-posed)입니다. 도시 환경은 일반적으로 경계가 없으며 가시 영역 너머로 확장됩니다. 그 결과, 장면의 많은 부분이 관찰되지 않은 상태로 남게 되지만, 이러한 보이지 않는 영역이 가시 영역에 그림자를 드리울 수 있습니다. 이러한 보이지 않는 영역에 의해 드리워지는 그림자를 합리적으로 모델링하는 것은 매우 어려우며, 재조명 가능한 도시 장면을 생성하는 데 있어 큰 장애물이 됩니다. 동시에, 희소한 입력 뷰(Sparse input views)와 복잡한 조명 조건은 재조명을 더욱 어렵게 만드는데, 이는 재질 분해(Material decomposition) 과정에서 심각한 모호성을 유발하기 때문입니다. 본 논문에서는 도시 장면의 재조명 문제를 해결하기 위해 설계된 새로운 프레임워크인 생성 모델을 이용한 그림자 유도형 재조명 가능 도시 장면(Shadow-guided Relightable Urban Scene with Generation model, SRUG)을 제안합니다. SRUG는 그림자를 활용하여 3D 완성(3D completion) 모델을 가이드함으로써 보이지 않는 영역의 기하 구조(Geometry)를 복원하고, 물리적으로 타당한 그림자 합성을 촉진합니다. 또한, SRUG는 대형 재질 모델(Large Material Model, LMM)을 적용하여 재질 감독(Material supervision)을 제공하고 장면의 재질 속성을 반복적으로 분해하는 반복적 재질 분해(Iterative material decomposition) 방식을 채택하여 견고한 재질 분해를 가능하게 합니다. 이러한 구성 요소들을 바탕으로, 우리는 도시 장면의 복잡한 조명을 포착하고 신뢰할 수 있는 재조명을 지원하는 물리 기반 조명 모델(Physically-based lighting model)을 도입합니다. 광범위한 정량적 평가와 시각적 비교를 통해, 우리의 방법이 새로운 뷰 합성(Novel view synthesis) 및 재조명(Relighting) 작업 모두에서 기존 방식보다 뛰어난 성능을 보임을 입증합니다.