GS-NFS: 동적 Gaussian Splatting 및 포인트 클라우드의 대역폭 적응형 스트리밍

동적 3D Gaussian Splatting (3DGS)는 복잡한 3D 장면을 높은 충실도(fidelity)로 표현할 수 있기 때문에 3D 비디오 스트리밍 기술로서 큰 가능성을 가지고 있습니다. 이 방식에서 3D 비디오의 모든 프레임은 위치 및 스케일(scale), 회전(rotation), 불투명도(opacity), 색상(color)과 같은 기타 속성을 가진 Gaussian들의 집합으로 환경을 나타냅니다. 프레임은 미세한 디테일을 포착하고 임의의 관점(arbitrary perspective)에서 시청을 허용하지만, 2D 비디오 프레임보다 10배(an order of magnitude) 또는 그 이상으로 더 큽니다. 최근의 일련의 연구들은 동적 3DGS 프레임을 어떻게 압축할지 탐구해 왔으나, 이러한 접근 방식들은 부분적으로 압축 기술이 효율적인 가속화에 적합하지 않기 때문에 종종 속도가 느립니다. GS-NFS는 GPU 상에서 동적 3DGS의 압축 및 압축 해제(decompression)를 전체 프레임 속도(full frame rate)로 인코딩 및 디코딩할 수 있는 수준까지 가속화합니다. 이는 Gaussian의 위치와 속성을 모두 인코딩하기 위한 기존 알고리즘의 새로운 GPU 기반 병렬화(parallelizations)를 개발함으로써 달성됩니다. 그 결과, 경쟁력 있는 압축 성능과 렌더링 품질을 제공하면서도, 프레임 인코딩 및 디코딩 속도 면에서 최신 기술(state-of-the-art)보다 1~2 자릿수(orders of magnitude) 더 빠릅니다.