NRF-GS: 표현력이 높고 간결한 가우시안 스플래팅을 위한 신경 잔여 필드

우리는 3D Gaussian Splatting (3DGS)에서 외관 모델링의 역할을 재검토하고, 시점 의존적 반사율의 제한된 표현력이 표현 중복성의 주요 원인임을 보여줍니다. 표준 3DGS에서는 저차 구면 조화 함수(SH)를 사용하는데, 이는 스플랫이 고주파 방향 효과를 모델링하는 능력을 제한하며, 이 부족함은 일반적으로 스플랫 수를 늘리는 것으로 보상됩니다. 우리는 개별 스플랫의 SH 기반을 공유된 신경 잔여 필드로 대체하는 하이브리드 표현 방식인 extit{NRF-GS: Neural Residual Fields for Gaussian Splatting}을 제안합니다. 각 가우시안은 간결한 외관 특징 세트와 램버트(lambertian) 기본 색상을 인코딩하며, 경량의 extit{글로벌 장면 수준 MLP (global scene-level MLP)}가 시점 방향, 거리 및 개별 스플랫 특징에 조건화된 시점 의존적 잔여값을 예측합니다. 이 공식은 확산성(diffuse) 개별 스플랫 반사 표현과 고주파 디테일을 위한 공유 글로벌 함수를 결합하여 방향성 반사 모델링을 향상시키며, 더 높은 표현력과 스플랫 간 매개변수 공유를 모두 가능하게 합니다. 우리의 핵심 통찰은 고주파 방향 반사율, 특히 거울(specular) 영역에서 이를 정확하게 포착함으로써 GS 표현이 더욱 표현력이 높아져 기하학적으로 중복된 스플랫의 필요성을 줄인다는 것입니다. 그 결과, NRF-GS는 가우시안 수를 최대 50%까지 줄이는 동시에 비교 가능한 또는 더 나은 렌더링 품질을 달성하며, 눈에 띄게 개선된 거울 및 고주파 디테일을 생성합니다.