PersistGS: 4D Gaussian Splatting에서 객체 영속성을 위한 미분 가능한 물리 엔진

동적 3D Gaussian Splatting (3DGS) 방식은 광도 감독 (photometric supervision)을 사용하여 동기화된 다중 카메라 비디오로부터 시간에 따라 변하는 장면을 재구성합니다. 움직이는 객체가 모든 학습 카메라로부터 완전히 가려지게 되면(occluded), 이러한 감독 신호가 사라집니다. 즉, 해당 객체를 나타내는 Gaussian들은 어떠한 그래디언트 (gradient) 신호도 받지 못해 품질이 저하됩니다. 신경 재구성 (neural reconstruction)에서 불완전한 관측에 대응하는 기존 방식들은 물리적 정확성보다 시각적 그럴듯함을 우선시하는 학습된 생성적 사전 지식 (generative priors)에 의존합니다.

우리는 미분 가능한 강체 시뮬레이션 (differentiable rigid body simulation)을 3D Gaussian Splatting과 결합하여, 가려짐(occlusion) 동안 객체 영속성 (object permanence)을 복원하는 방법인 $\textbf{PersistGS}$를 제안합니다. 우리의 접근 방식은 장면을 객체별 Gaussian 및 충돌 메쉬 (collision meshes)로 분해하고, 미분 가능한 시뮬레이션을 통해 가려지기 전 관측된 궤적으로부터 마찰 (friction)과 속도 (velocity)를 추정하며, 결과로 도출된 SE(3) 궤적을 사용하여 가려짐 기간 동안 객체 Gaussian의 위치를 지정합니다. 예측된 궤적은 강체 역학 (rigid body dynamics)의 지배 방정식을 충족하기 때문에, 운동학적 외삽 (kinematic extrapolation)으로는 모델링할 수 없는 접촉 이벤트 (튀어 오름, 마찰 기반 감속, 방향 전환)를 충실하게 포착합니다.

우리는 외관 노이즈 (appearance noise)로부터 위치 그래디언트 (positional gradients)를 분리하는 중심점 실루엣 손실 (centroid silhouette loss)을 도입하여, 광도 감독 (photometric supervision)보다 40% 낮은 궤적 오차를 달성했습니다. 우리는 객체가 가려져 있는 동안 이를 관찰하는, 학습에서 제외된 카메라들을 사용하여 평가를 진행했습니다. 합성 장면 (synthetic scenes)에 대한 실험 결과, PersistGS는 등속 외삽 (constant velocity extrapolation)보다 PSNR 기준 +2.46dB 높은 성능을 보였으며, 정답 (ground-truth) 궤적 상한선에 0.19dB 이내로 근접했습니다.