RigPAPR: 고정 시점 비디오로부터 정적 신경 포인트 클라우드(Neural Point Clouds)의 리그 기반 애니메이션 구현

정적 신경 포인트 재구성(Static neural point reconstructions)은 포즈가 지정된 이미지로부터 피사체를 높은 충실도로 포착합니다. 이러한 재구성이 주어졌을 때, 우리는 촬영되었거나 이미지-비디오 생성(I2V) 기술로 제작된 피사체의 단안 고정 시점 드라이빙 비디오(monocular fixed-viewpoint driving video)를 따라 애니메이션화하고, 리그(rigged)가 적용되어 재포즈(re-posable)가 가능한 3D 에셋을 복구하는 것을 목표로 합니다. 기존 방식들은 직접 선형 블렌드 스키닝 (LBS, Linear Blend Skinning) 또는 메쉬 프록시(mesh proxies)를 통해 가우시안 스플랫(Gaussian splats)을 변형시키는데, 이 두 방식 모두 개별 프리미티브(per-primitive) 보정을 적용하더라도 관절 움직임(articulation) 시 관절 경계 아티팩트(joint-boundary artifacts)가 발생하기 쉽습니다. 우리는 이 아티팩트의 원인을 표현 방식(representation)에서 찾았습니다. 각 스플랫은 인접한 스플랫과 타일링(tiling)되도록 정준 포즈(canonical pose)에서 보정된 개별 형상을 가지고 있습니다. 강체 LBS(rigid LBS) 하에서 각 스플랫은 해당 뼈(bone)와 함께 움직이지만 구부러질 수는 없으므로, 정준 타일링이 관절 경계에서 틈(gaps)이나 스파이크(spikes)로 깨지게 됩니다. 반면 근접 어텐션 포인트 렌더링 (PAPR, Proximity Attention Point Rendering)은 개별 프리미티브 형상을 갖지 않습니다. 대신 각 픽셀은 렌더링 시점에 변형된 프리미티브들의 위치로부터 재구성되므로, 관절 움직임에 따라 표면이 자연스럽게 다시 형성됩니다. 우리는 메쉬 프록시, 포즈 의존적 보정, 또는 카테고리 템플릿 없이도 단일 고정 시점 비디오로부터 정적 PAPR 클라우드를 자동 리그(auto-rigs)하고 직접 LBS를 통해 구동하는 RigPAPR를 제안합니다. 합성 피사체에 대해 RigPAPR는 지도 학습된 뷰(supervised view)에서 가장 강력한 베이스라인과 일치하는 성능을 보였으며, 새로운 뷰(novel views)에서는 메쉬 기반 및 가우시안 스플래팅(Gaussian-splatting) 베이스라인보다 3dB 이상의 PSNR 우위를 점하였고, 합성 및 실제 피사체 모두에서 더 깨끗한 관절 경계 렌더링 결과를 보여주었습니다.