Gaussian Splatting에서 상수 시간 레이 쿼리(Ray Queries)를 위한 Directed Distance Fields

3D Gaussian Splatting (3DGS)는 장면의 새로운 뷰를 실시간으로 렌더링합니다. 모든 래스터라이저(rasterizer)와 마찬가지로, 이는 카메라에서 이미지를 통과하는 광선인 주 광선(primary rays)에 대해서만 응답합니다. 그림자, 앰비언트 오클루전(ambient occlusion), 그리고 전역 조명(global illumination)에 필요한 부차적 광선(secondary rays)은 추적할 수 없습니다. 우리는 Directed Distance Function (DDF)을 증류(distilling)함으로써 학습된 3DGS 장면을 레이 오라클(ray oracle)로 변환합니다. DDF는 작은 신경장(neural field)입니다. 이는 원점(origin)과 방향(direction)으로 주어지는 광선을 입력받아, 첫 번째 표면까지의 거리와 광선이 무언가에 부딪혔는지 여부를 반환합니다. 각 쿼리는 단 한 번의 순전파(forward pass)로 이루어집니다. 이 필드의 크기는 52MB이며, 그 크기는 가우시안(Gaussians)의 개수에 의존하지 않으므로 장면이 커져도 비용과 메모리가 일정하게 유지됩니다. 우리는 세 가지 사항을 제시합니다. 첫째, DDF에 어떤 감독(supervision)이 필요한지 연구합니다. 가우시안으로부터 렌더링된 깊이(depth)는 얇은 부분을 가르치기에 너무 흐릿하지만, 깨끗한 거리 감독(distance supervision)은 이를 복구합니다. 둘째, 속도를 측정합니다. DDF는 동등한 부호 거리 필드(signed distance field)를 스피어 트레이싱(sphere tracing)하는 것보다 26배에서 72배 더 빠르며, 가우시안을 기반으로 구축된 경계 볼륨 계층 구조(bounding volume hierarchy)와 달리 전용 RT-코어 하드웨어에서도 쿼리 시간과 메모리가 장면과 함께 증가하지 않습니다. 셋째, 메쉬(mesh)가 필요 없는 파이프라인을 보여줍니다. 이미지는 3DGS 장면을 제공하고, 신경 표면(neural surface)은 깨끗한 거리를 제공하며, DDF는 이들로부터 학습합니다. 우리는 DDF를 전역 조명을 위한 부차적 광선 오라클로 사용합니다. 이는 142개의 객체와 실제 캡처된 장면 전반에 걸쳐 참조 레이 트레이싱(ray-traced) 그림자를 30.3dB로, 앰비언트 오클루전을 21.3dB로 재현합니다. 우리의 코드는 https://github.com/smlab-niser/ddf-gs 에서 확인할 수 있습니다.