ResStreamGS: 모바일 볼류메트릭 비디오 스트리밍을 위한 잔여 민감형 이중 스트림 Gaussian Splatting

실시간 모바일 볼류메트릭 비디오는 몰입형 자유 시점 경험을 가능하게 하지만, 제한된 대역폭과 연산 환경에서 고품질 3D 콘텐츠를 제공하는 것은 여전히 어려운 과제입니다. V$^3$와 같은 최근의 3D Gaussian Splatting (3DGS) 시스템은 시간 변화하는 Gaussian 속성을 범용 비디오 코덱 및 하드웨어 디코딩으로 인코딩하여 효율적인 모바일 스트리밍을 가능하게 합니다. 하지만 기존 파이프라인들은 모든 Gaussian을 프레임별로 변하는 신호로 취급하며, 이는 상당 부분이 시간적으로 안정적인 전체 장면 콘텐츠에는 적합하지 않습니다. 우리의 실험 연구는 모든 Gaussian에 대해 프레임 단위의 적응 및 비디오 코딩을 수행할 경우, 특히 시간적으로 안정적인 영역에서 복잡한 전체 장면 콘텐츠의 품질 저하를 야기함을 보여줍니다. 이 문제를 해결하기 위해, 우리는 Gaussian을 그들의 시간적 행동에 따라 처리하는 잔여 민감형 이중 스트림 프레임워크인 ResStreamGS를 제안합니다. ResStreamGS는 경량 프로브 적응(probe adaptation)을 통해 잔여 민감형 기본 요소(residual-sensitive primitives)를 식별하고, 각 Group of Pictures (GOP) 내에서 안정적인 Gaussian을 재사용합니다. 안정적인 Gaussian은 GOP당 한 번 전송되며, 오직 잔여 민감형 Gaussian만이 프레임 단위 하드웨어 디코더블 비디오 스트림에 남아있습니다. 복잡한 전체 장면 볼류메트릭 비디오에 대한 실험 결과는 ResStreamGS가 제어된 V$^3$ 스타일의 모든 Gaussian 기준선 대비 코덱 후 PSNR을 7.51~8.35 dB 개선하고, 평균 페이로드(amortized payload)를 최대 56.5% 감소시키며, Qualcomm Snapdragon 778G 플랫폼에서 30.883 FPS를 달성함을 보여줍니다.