TRON: 3D 가우시안 재구성을 위한 신경 렌더러를 오케스트레이션하는 광선 추적 기술

우리는 새로운 조명, 동적 객체 움직임, 객체 삽입 및 재질 편집 환경에서 실제 세계의 3D 장면을 사실적이고 제어 가능한 방식으로 렌더링할 수 있도록 3D 가우시안 광선 추적 (3D Gaussian ray tracing)과 신경 렌더링 (neural rendering)을 결합한 렌더링 프레임워크인 TRON을 소개합니다. 가우시안 표현 (Gaussian representations)의 물리 기반 렌더링 (PBR)에만 의존하는 기존 방식들은 재구성된 기하학적 구조, 재질 추정 및 빛 전달 (light transport) 추정의 불완전함으로 인해 사실적인 재조명 (relighting)을 달성하는 데 어려움을 겪습니다. 동시에, 신경 렌더링 방법들은 명시적인 장면 표현 (explicit scene representation)이 부족한 경우가 많아 미세한 조작을 통한 상호작용적 편집을 지원하는 능력이 제한됩니다. TRON은 이 두 패러다임을 연결합니다. 우리는 학습된 역렌더링 (inverse rendering) 모델로부터 얻은 내재적 분해 (intrinsic decomposition) 사전 정보 (priors)를 사용하여 가우시안 필드의 재질 특성을 정규화하며, 광선 추적기 (ray tracer)를 최종 픽셀이 아닌 복사계 가이드 (radiometric guidance)를 제공하는 용도로 재설계합니다. 이 출력을 구조화된 3D 스캐폴드 (scaffold)로 취급함으로써, 우리는 경량 신경 렌더러가 셰이딩 모델 (shading-model)에 의해 제약된 추정치와 사진처럼 사실적인 출력 사이의 도메인 간극 (domain gap)을 메울 수 있도록 합니다. 우리의 핵심 통찰은 명시적인 3D 지식과 강력한 재질 사전 정보의 결합이 속도와 제어 가능성을 제공하는 동시에, 신경 렌더링이 사진처럼 사실적인 이미지 합성을 가능하게 한다는 것입니다. 실제 시나리오를 지원하기 위해, 우리는 대규모 사전 학습 (pretraining)과 3D 재구성으로부터 생성된 210만 개의 렌더링된 합성 및 실제 세계 프레임으로 구성된 신규 구축 데이터셋에 대한 타겟 미세 조정 (fine-tuning)으로 구성된 다단계 전략을 통해 신경 렌더러를 학습시킵니다. TRON은 사실성 측면에서 가우시안 기반 재조명 방법보다 뛰어나며, 편집 가능성과 속도 측면에서는 기존 신경 렌더러보다 우수합니다. 우리가 알고 있는 바로는, TRON은 캡처된 3D 환경에서 동적인 기하학적, 조명 및 재질 조건 하에서도 사실적인 외관을 제공하며 실용적인 상호작용 애플리케이션을 가능하게 하는 첫 번째 방법입니다.