TemporalGS: 시간적 사전 정보(Temporal Priors)를 통한 3D Gaussian Splatting 렌더링의 학습

원문 발행 2026. 07. 03. 23:46원문 언어 영어AI 한국어 번역arXiv cs.GR (Graphics) 원문 보기

요약

TemporalGS는 3D Gaussian Splatting(3DGS)의 렌더링 속도를 높이기 위해 시간적 사전 정보(temporal priors)를 활용하는 새로운 연구입니다. 별도의 추가 학습 없이도 타일 기반 소프트웨어 래스터화 과정에서 중복 작업을 줄여 렌더링 성능을 최대 1.48배 향상시킵니다.

핵심 포인트

추가 학습이나 사후 처리가 필요 없는 플러그 앤 플레이 방식
시간적 동적 컬링을 통한 기여도 낮은 Gaussian 필터링
선택적 렌더링을 통한 불필요한 타일 연산 최소화
기존 SOTA 방식 대비 대등하거나 우수한 렌더링 속도 달성
하드웨어 래스터화 기반으로의 확장성 및 이식성 입증

3D Gaussian Splatting (3DGS)은 빠르고 고충실도(high-fidelity)의 렌더링을 통해 새로운 시점 합성(novel-view synthesis) 분야에 혁신을 일으켰습니다. 그러나 다양한 장면에서 높은 FPS와 낮은 지연 시간(low latency)으로 렌더링하는 것은 여전히 과제로 남아 있으며, 특히 장면에 방대한 양의 3D Gaussian 타원체(ellipsoids)가 나타날 때 더욱 그러합니다. 이 문제를 해결하기 위해, 본 연구에서는 TemporalGS를 소개합니다. 우리가 알고 있는 바로는, 이는 타일 기반 소프트웨어 래스터화(tile-based software rasterization) 상에서 구현되어, 어떠한 사후 학습(post-training)이나 사후 처리(post-processing) 없이도 3DGS 렌더링을 가속화할 수 있는 최초의 학습 불필요(training-free) 플러그 앤 플레이(plug-and-play) 알고리즘 방식입니다. 핵심 아이디어는 프레임을 3DGS 방식대로 독립적으로 렌더링하는 대신, 새로운 기하학(geometry) 및 외관(appearance) 버퍼 등으로 표현되는 시간적 사전 정보(temporal priors)를 활용하여 연속된 프레임의 Gaussian 전처리, 정렬(sorting) 및 래스터화(rasterization) 작업의 중복성을 줄이는 것입니다. 구체적으로, 우리는 두 가지 가속 전략을 제안합니다: (1) 현재 프레임 렌더링에 기여도가 낮은 Gaussian을 필터링하는 시간적 동적 컬링(temporal dynamic culling); (2) 시간적 사전 정보로 근사할 수 없는 타일의 아주 일부분만을 렌더링하는 선택적 렌더링(selective rendering). 이 두 전략을 적응시키고 교차 배치함으로써, TemporalGS는 어떠한 학습 없이도 3DGS 렌더링 속도를 높일 수 있는 단순하지만 효과적인 플러그 앤 플레이 솔루션을 제공합니다. 광범위한 실험을 통해 TemporalGS는 기존의 최첨단(state-of-the-art) 사후 학습 또는 사후 처리 기반 3DGS 렌더링 가속 방식과 비교하여 대등하거나 심지어 더 나은 성능을 달성함을 보여줍니다. TemporalGS는 경쟁력 있는 렌더링 품질을 유지하면서도 다양한 3DGS 방법의 렌더링 속도를 최대 $1.48 imes$까지 크게 향상시킬 수 있습니다. 나아가 우리는 TemporalGS를 하드웨어 래스터화 기반 3DGS로 확장하여 우리 알고리즘의 이식성(portability)을 입증했습니다.

AI 자동 생성 콘텐츠

원문 바로가기

TemporalGS: 시간적 사전 정보(Temporal Priors)를 통한 3D Gaussian Splatting 렌더링의 학습

요약

핵심 포인트

댓글