PCAsplat: 국소 PCA 정규화를 적용한 가우시안 스플래팅

가우시안 스플래팅(Gaussian splatting)은 포즈가 지정된 이미지로부터 3D 재구성을 위한 유연한 표현 방식으로 부상했습니다. 하지만 기존 방법들은 주로 레이캐스팅 기반 손실 함수를 사용하여 최적화되며, 이는 스플랫이 샘플링된 카메라 광선에 기여할 때만 스플랫을 감독합니다. 따라서 가려지거나(occluded) 샘플링된 뷰에 거의 기여하지 않는 가우시안들은 약하거나 아무런 기하학적 기울기(geometric gradients)를 받게 되어, 근본적인 표면에서 벗어나 원치 않는 플로터(floaters)를 생성할 수 있습니다. 우리는 미분 가능한 국소 주성분 분석(differentiable local principal component analysis, PCA)에 기반한 가우시안 스플래팅을 위한 기하학 인식 정규화 프레임워크인 PCAsplat을 소개합니다. 우리의 PCA 정규화기는 가우시안 중심의 이웃 영역에 직접 작용하여, 현재 훈련 뷰에 기여하지 않는 가우시안들도 업데이트할 수 있게 합니다. 우리는 PCA 고유값(eigenvalues)을 정규화하여 가우시안들이 등방성 접평면 커버리지(isotropic tangent-plane coverage)를 가지며 근본적인 표면으로 이동하도록 장려합니다. 또한, 각 가우시안 법선(normal)을 PCA로 추정된 이웃 법선에 정렬하여 일관된 방향성을 강제합니다. DTU, Tanks and Temples, NeRF Synthetic에서의 실험 결과는 PCAsplat이 생성한 스플랫이 참조 표면의 샘플을 더 잘 근사하는 동시에 원치 않는 플로터를 상당히 줄인다는 것을 보여줍니다. 이러한 표면 정렬형 스플랫은 포인트 클라우드 분할(point cloud segmentation) 및 직접적인 포아송 재구성(Poisson reconstruction)을 포함한 다운스트림 기하학 처리 작업들을 가능하게 합니다. 게다가, PCAsplat은 기존의 새로운 뷰 합성(novel view synthesis) 및 메쉬 추출 작업에서도 경쟁력을 유지합니다. 코드는 공개될 예정입니다.