CG 애니메이션 제작 파이프라인 내에서 아티스트들이 조명(Lighting) 작업 시 직면하는 어려움은 엄청납니다. 사소한 조정에도 느린 오프라인 렌더러를 사용해 거대한 장면을 재렌더링해야 하며, 전역 조명(global illumination) 샘플링과 복잡한 셰이더 평가가 필요하여 프레임당 반복 시간이 분에서 몇 시간에 달합니다.
이 과정을 가속화하기 위해, 우리는 정적 장면(static scenes)에 대해 고정된 카메라와 재질을 가진 상호작용 속도(interactive rates)로 미분 가능한 리라이팅(differentiable relighting)이 가능한 새로운 신경 렌더 프록시(NRP)를 소개합니다. 우리의 주요 통찰은 전통적인 렌더링 과정을 경로 샘플링(path sampling)과 방출 계산(emission computation)으로 분리하는 것입니다. 단일하고 조명에 구애받지 않는 렌더 패스(light-agnostic render pass)로부터, 우리는 경로 샘플의 형태로 광 전달 데이터(light transport data)를 수집합니다.
이를 통해 조명 조건을 실시간으로 빠르게 샘플링할 수 있으며, 모든 장면 위치에서 임의의 이미지 픽셀까지 빛이 어떻게 전달되는지를 학습하는 장면별 경량 신경망(lightweight neural network)을 훈련할 수 있습니다. 이 접근 방식은 미분 불가능한 제작용 렌더러와 호환되며, 추론(inference) 중 최소한의 메모리 요구 사항을 유발하고, 장면 및 외관 복잡도에 독립적으로 해상도와 광원 수 및 파라미터에 대해서만 확장됩니다.
우리의 평가는 지상 진실(ground-truth) 경로 추적(path tracing)의 시각적 충실도를 근접하게 유지하면서도 리라이팅에 대한 상호작용 프레임 속도(~30-60 Hz)를 입증합니다. 또한, 미분 가능한 NRP는 빠르고 기울기 기반의 역방향 워크플로우(inverse workflows)를 가능하게 하여, 아티스트가 직관적인 이미지 공간 편집이나 생성적 목표(generative targets)로부터 조명 파라미터를 효율적으로 계산할 수 있게 합니다.