3DGS를 위한 효율적인 신뢰도 기반 밀집화
요약
본 논문은 Gaussian Splatting의 밀집화(densification) 방식을 개선한 '신뢰도 기반' 방법을 제안합니다. 기존 3DGS-MCMC는 불투명도를 기준으로 샘플링했지만, 이 방법은 이미지 오류를 기준으로 기본 요소를 배치하여 재구성이 부족한 영역에 집중합니다. 실험 결과, 본 방법은 다양한 예산에서 기존의 고정 예산 방식보다 우수한 성능을 보였습니다.
핵심 포인트
- 이미지 오류 기반 밀집화가 3DGS-MCMC 대비 우수함을 입증했습니다.
- 신뢰도 인식 밀집화는 재구성이 부족한 영역(낮은 학습된 신뢰도)에 기본 요소를 배치합니다.
- 사전 정보 없이도 기존의 고정 예산 방법들보다 높은 PSNR, SSIM을 달성했습니다.
- 초기화 단계가 있을 경우에도 최고 성능을 보여 잠재적 활용도가 높습니다.
3DGS-MCMC는 가우시안 스플래팅(Gaussian Splatting)의 기울기 구동 밀도 제어 방식을 불투명도 기반 샘플링 및 재배치로 대체했으며, 현재 고정된 기본 요소 예산 하에서 사전 정보가 필요 없는(prior-free) 밀집화의 사실상의 표준이 되었습니다. 불투명도가 장면이 이미 잘 재구성된 곳에서는 높게 유지되기 때문에, 이 샘플링은 대부분의 새로운 기본 요소를 전경에 보내고 배경은 재구성이 부족한 상태로 남겨둡니다. 낮은 예산에서는 ConeGS나 EDGS와 같은 사전 기반(prior-based) 방법들이 성능이 더 좋지만, 이는 사전에 훈련된 복사 조명장(radiance field)이나 밀집 이미지 매치 및 별도의 초기화 단계를 거쳐야 하는 비용을 수반합니다. 우리는 고정 예산의 MCMC 프레임워크 내에서 오류 기반(error-driven) 밀집화의 부활을 주장합니다. 우리의 신뢰도 인식 밀집화는 3DGS-MCMC의 고정 예산과 점진적 성장을 유지하면서, 불투명도가 아닌 이미지 오류를 기준으로 기본 요소를 배치합니다. 새로운 기본 요소는 주로 화면 공간 기울기(screen-space gradients)가 큰 곳에 그려지며, 학습된 신뢰도(learned confidence)가 낮은 기본 요소를 선호하는데, 이는 재구성이 여전히 제대로 설명하지 못하는 영역을 나타냅니다. 그리고 렌더링 이미지에 기여도가 가장 적은 기본 요소들을 이러한 장소로 재배치합니다. 24개 장면을 평균했을 때, 우리의 방법은 10만 개에서 2백만 개의 기본 요소에 이르는 모든 예산에서 PSNR, SSIM 및 LPIPS 측면에서 3DGS-MCMC보다 우수합니다. 사전 정보나 초기화 단계 없이 10만 개일 때는 ConeGS가 3DGS-MCMC보다 앞서는 1.05dB PSNR의 0.84dB를 회복하며, 50만 개부터는 ConeGS와 EDGS를 포함하여 비교한 모든 고정 예산 방법 중 가장 높은 PSNR과 SSIM을 달성합니다. 본질적으로 사전 정보가 필요 없지만, 우리의 밀집화는 사전 정보를 활용할 수도 있습니다: ConeGS나 EDGS의 초기화로부터 시작하면 10만 개일 때 PSNR 및 SSIM에서 ConeGS와 일치하며, 50만 개에서는 세 가지 지표 모두에서 최고 성능을 보입니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.GR (Graphics)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기