원자적 패키징(Atomic Packaging) 및 GNN 기반 오류 은폐를 통한 패킷 손실에 강건한 3D 가우시안 압축
요약
패킷 손실이 발생하는 네트워크 스트리밍 환경에서 3D 가우시안 스플래팅(3DGS)의 렌더링 품질을 유지하기 위한 새로운 압축 및 오류 은폐 프레임워크를 제안합니다. 원자적 패키징과 GNN 기반의 속성 인페인팅 기술을 통해 패킷 손실 시 발생하는 렌더링 아티팩트를 최소화합니다.
핵심 포인트
- 원자적 패키징을 통해 속성 불일치 문제를 깨끗한 앵커 누락 형태로 전환
- 계층적 무작위 그룹화로 패킷 손실을 공간 전체에 분산시켜 공백 방지
- GNN과 해시 그리드 사전을 활용한 문맥 인지 잔차 보간(CARI) 기술 적용
- 20% 패킷 손실 조건에서도 무손실 모델 대비 PSNR 저하를 3dB 이내로 방어
3D 가우시안 스플래팅 (3D Gaussian Splatting, 3DGS) 및 HAC++와 같은 최신 압축 방식은 고충실도 실시간 신경 렌더링 (neural rendering)을 가능하게 하지만, 네트워크 스트리밍 중 패킷 손실 (packet loss)이 발생할 경우 비트스트림 (bitstreams)이 취약해지는 문제가 있습니다. 기존의 압축 방식들은 상관관계가 있는 앵커 속성 (anchor attributes)들을 독립적인 스트림으로 분리하는 경우가 많아, 하나의 패킷만 손실되어도 속성이 불일치하는 깨진 앵커가 생성되고 심각한 렌더링 아티팩트 (rendering artifacts)가 발생할 수 있습니다. 본 논문에서는 패킷 손실에 강건한 3DGS 전송 및 오류 은폐 (error concealment) 프레임워크를 제안합니다. 인코더 (encoder) 측면에서는, 앵커 수준의 원자적 패키징 (atomic packaging)을 통해 각 앵커의 모든 속성을 공동으로 캡슐화하여, 손상된 속성으로 인한 실패를 깨끗한 앵커 누락 (missing-anchor erasures) 형태로 전환합니다. 계층적 무작위 그룹화 (Stratified random grouping)는 패킷 손실을 공간 도메인 전체에 분산시켜 커다란 연속적 공백이 생기는 것을 방지합니다. 디코더 (decoder) 측면에서는, 복구를 사전 인지형 속성 인페인팅 (prior-aware attribute inpainting)으로 정식화합니다. 문맥 인지 잔차 보간 (Context-Aware Residual Interpolation, CARI) 브랜치는 해시 그리드 사전 예측 (hash-grid prior predictions)과 인접 잔차 (neighboring residuals)를 사용하여 강력한 베이스라인을 구축하며, 해시 그리드 사전에 대한 교차 주의 집중 (cross-attention) 기능을 갖춘 경량 2층 그래프 신경망 (graph neural network, GNN)이 고주파 속성 잔차를 정교화합니다. 속성별 신뢰도 제어 (Attribute-wise confidence control)를 통해 학습된 예측이 신뢰할 수 없을 때는 보간법 (interpolation)으로 전환합니다. BungeeNeRF, Mip-NeRF 360, Tanks and Temples 데이터셋에서 20% 무작위 패킷 손실 조건으로 실험한 결과, 제안된 방법은 오류 은폐가 없는 전송 방식보다 실질적으로 개선되었으며, 무손실 HAC++ 참조 모델 대비 평균 PSNR 저하를 약 3 dB 이내로 제한함을 보여주었습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.GR (Graphics)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기