PIXLRelight: 고유 조건부(Intrinsic Conditioning)를 통한 제어 가능한 재조명

우리는 물리적으로 제어 가능한 단일 이미지 재조명(Relighting)을 위한 피드포워드(feed-forward) 방식인 PIXLRelight를 제안합니다. 기존 방식들은 제한적인 조명 제어(예: 텍스트 또는 환경 맵을 통한 제어)를 제공하거나, 역렌더링(inverse rendering)과 순방향 렌더링(forward rendering)을 연결할 때 오차가 누적되거나, 이미지당 비용이 많이 드는 최적화(optimization) 과정을 요구합니다. 우리의 핵심 아이디어는 실제 사진이나 PBR 렌더링으로부터 얻을 수 있는 공유된 고유 조건부(intrinsic conditioning)를 통해 물리 기반 렌더링(PBR)과 학습된 이미지 합성(image synthesis)을 연결하는 것입니다. 학습 시에는 쌍을 이룬 다중 조명 사진을 알베도(albedo), 확산 셰이딩(diffuse shading), 그리고 비확산 잔차(non-diffuse residuals)로 분해하여 모델의 조건부로 사용합니다. 추론 시에는 사용자가 지정한 PBR 조명 아래에서 입력값의 거친 3D 재구성(3D reconstruction)을 경로 추적(path-traced) 렌더링하여 동일한 조건부를 계산합니다. 그 후 트랜스포머(transformer) 기반의 신경 렌더러(neural renderer)가 픽셀별 아핀 변조(per-pixel affine modulation)를 통해 미세한 이미지 디테일을 보존하면서 대상 조명을 원본 사진에 적용합니다. PIXLRelight는 임의의 PBR 스타일 조명 제어를 가능하게 하며, 최첨단(state-of-the-art) 재조명 품질을 달성하고, 이미지당 0.1초 미만으로 실행됩니다. 코드와 모델은 https://mlfarinha.github.io/pixl-relight/ 에서 확인할 수 있습니다.