시점 의존적 스플래팅 커널 (View-Dependent Splatting Kernels) 학습

우리는 새로운 3D 시점 합성 (Novel 3D View Synthesis)을 위한 재구성 품질과 표현 효율성을 향상시키기 위해, 스플래팅 (Splatting) 기반 파이프라인에서 시점 의존적 (View-dependent) 2D 커널을 자동으로 학습하는 미분 가능한 프레임워크를 제시합니다. 우리의 볼륨 프리미티브 (Volumetric primitive)는 경계 타원체 (Bounding ellipsoid)와 3D-커널 잠재 벡터 (3D-kernel latent vector)로 정의됩니다. 먼저, 타원체의 속성과 3D-커널 잠재 벡터를 입력으로 받아 2D-커널 잠재 벡터를 출력하는 투영 네트워크 (Projection network)를 학습합니다. 다음으로, 그 결과를 디코더 (Decoder)로 보내 투영된 타원체에 의해 제한되는 마할라노비스 거리 (Mahalanobis distance) 관점에서의 방사 대칭 (Radially symmetric) 2D 커널을 생성합니다. 신경망 (Neural networks)은 각 프리미티브 (Per-primitive) 속성과 함께 공동으로 최적화됩니다. 우리의 접근 방식의 효과는 표준 벤치마크에서 입증되었으며, 분석적 커널 (Analytical kernels) 및 학습된 커널 (Learned kernels) 모두에서 최신 기술 (State-of-the-art techniques)과 비교하여 우수한 성능을 보였습니다. 마지막으로, 우리는 이 아이디어를 2D 스플래팅 (2D splatting) 및 이미지 표현 (Image representation)을 위한 일반적인 2D 커널 학습으로 확장합니다.