ResStreamGS: 모바일 볼류메트릭 비디오 스트리밍을 위한 잔여 민감형 이중 스트림 Gaussian Splatting

원문 발행 2026. 10. 15. 11:25원문 언어 영어AI 한국어 번역arXiv cs.GR (Graphics) 원문 보기

요약

본 논문은 모바일 환경의 볼류메트릭 비디오 스트리밍 문제를 해결하기 위해 ResStreamGS라는 새로운 프레임워크를 제안합니다. 이 방법은 Gaussian을 시간적 행동에 따라 분류하여, 안정적인 요소는 재사용하고 변화하는 잔여 민감형 요소만 전송합니다. 실험 결과, 기존 방식 대비 PSNR을 크게 개선하고 페이로드와 지연 시간을 줄였습니다.

핵심 포인트

잔여 민감형 이중 스트림 프레임워크 ResStreamGS 제안
시간적으로 안정적인 Gaussian은 재사용하여 효율성 극대화
기존 V$^3$ 대비 PSNR 7.51~8.35 dB 개선 효과 입증
Qualcomm Snapdragon 778G에서 30 FPS 이상의 스트리밍 달성

실시간 모바일 볼류메트릭 비디오는 몰입형 자유 시점 경험을 가능하게 하지만, 제한된 대역폭과 연산 환경에서 고품질 3D 콘텐츠를 제공하는 것은 여전히 어려운 과제입니다. V$^3$와 같은 최근의 3D Gaussian Splatting (3DGS) 시스템은 시간 변화하는 Gaussian 속성을 범용 비디오 코덱 및 하드웨어 디코딩으로 인코딩하여 효율적인 모바일 스트리밍을 가능하게 합니다. 하지만 기존 파이프라인들은 모든 Gaussian을 프레임별로 변하는 신호로 취급하며, 이는 상당 부분이 시간적으로 안정적인 전체 장면 콘텐츠에는 적합하지 않습니다. 우리의 실험 연구는 모든 Gaussian에 대해 프레임 단위의 적응 및 비디오 코딩을 수행할 경우, 특히 시간적으로 안정적인 영역에서 복잡한 전체 장면 콘텐츠의 품질 저하를 야기함을 보여줍니다. 이 문제를 해결하기 위해, 우리는 Gaussian을 그들의 시간적 행동에 따라 처리하는 잔여 민감형 이중 스트림 프레임워크인 ResStreamGS를 제안합니다. ResStreamGS는 경량 프로브 적응(probe adaptation)을 통해 잔여 민감형 기본 요소(residual-sensitive primitives)를 식별하고, 각 Group of Pictures (GOP) 내에서 안정적인 Gaussian을 재사용합니다. 안정적인 Gaussian은 GOP당 한 번 전송되며, 오직 잔여 민감형 Gaussian만이 프레임 단위 하드웨어 디코더블 비디오 스트림에 남아있습니다. 복잡한 전체 장면 볼류메트릭 비디오에 대한 실험 결과는 ResStreamGS가 제어된 V$^3$ 스타일의 모든 Gaussian 기준선 대비 코덱 후 PSNR을 7.51~8.35 dB 개선하고, 평균 페이로드(amortized payload)를 최대 56.5% 감소시키며, Qualcomm Snapdragon 778G 플랫폼에서 30.883 FPS를 달성함을 보여줍니다.

AI 자동 생성 콘텐츠

원문 바로가기

ResStreamGS: 모바일 볼류메트릭 비디오 스트리밍을 위한 잔여 민감형 이중 스트림 Gaussian Splatting

요약

핵심 포인트

댓글