능동형 RGB-NIR 이미징을 이용한 주변광에 강건한 역렌더링 (Inverse Rendering)
요약
주변 조명 조건에 민감한 기존 역렌더링의 한계를 극복하기 위해 능동형 RGB-NIR 이미징 기술을 제안합니다. 인간이 인지하지 못하는 NIR 플래시를 활용하여 안정적인 점광원 셰이딩을 확보함으로써 정확한 기하 구조와 반사율을 재구성합니다.
핵심 포인트
- 능동형 RGB-NIR 이미징을 통한 주변광 강건성 확보
- NIR 플래시를 활용한 안정적인 점광원 셰이딩 구현
- RGB와 NIR 이미지의 상호 보완적 이점 활용
- 모바일 기반 능동형 이미징 시스템 및 데이터셋 개발
역렌더링 (Inverse rendering)은 이미지로부터 객체의 기하 구조 (geometry)와 반사율 (reflectance)을 재구성하는 것을 목표로 합니다. 최근의 발전에도 불구하고, 기존 방식들은 주변 조명 조건 (ambient illumination conditions)에 민감하여 부정확한 재구성을 생성하는 경우가 많습니다. 본 논문에서는 능동형 RGB-NIR 이미징 (active RGB-NIR imaging)을 통해 구현된 주변광에 강건한 (ambient-robust) 역렌더링 방법을 소개합니다. 우리의 핵심 통찰은 인간 관찰자에게는 감지되지 않는 근적외선 (NIR) 플래시 조명을 활용하여, 주변 조명에 거의 영향을 받지 않는 안정적인 점광원 셰이딩 (point-light shading)을 얻는 것입니다. 주변광에 의해 조명된 다중 뷰 (multi-view) RGB 이미지와 능동형 NIR 플래시 조명으로 획득한 NIR 이미지를 사용하여, 우리는 3단계 역렌더링 방법을 통해 RGB와 NIR 이미지의 상호 보완적인 이점을 활용함으로써 정확한 기하 구조와 반사율을 재구성합니다. 밀집된 다중 뷰 획득을 가능하게 하기 위해, 우리는 RGB-NIR 카메라와 NIR 플래시가 모바일 베이스에 장착된 능동형 이미징 시스템을 개발했습니다. 이 시스템을 사용하여, 우리는 다양한 주변 조명 조건 하에서 캡처된 최초의 다중 뷰 RGB-NIR 역렌더링 데이터셋을 수집했습니다. 실험을 통해 우리의 방법이 기존 방식들보다 뛰어난 성능을 보이며, 다양한 주변 조명 시나리오 전반에서 정확한 기하 구조 및 반사율 추정을 달성함을 입증합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.GR (Graphics)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기