PiG-Avatar: 계층적 Neural-Field 가이드 Gaussian Avatar

기존의 Gaussian avatar 방법들은 일반적으로 신체 템플릿 표면(body-template surface) 위에 기하학적 구조를 매개변수화하며, 이는 avatar의 표현 공간(representation space)을 템플릿의 변형 공간(deformation space)과 얽히게 만들어 층이 있는 구조, 신체 외부(off-body), 그리고 비강체(non-rigid) 의류 기하학의 캡처를 제한합니다. 우리는 이러한 한계를 해결하기 위해, 파라메트릭 신체 모델(parametric body model)을 오직 운동학적 전달(kinematic transport)을 위해서만 사용하고, avatar를 연속적인 neural field에 의해 제어되는 볼륨형 정준 공간(volumetric canonical space)에 고정된 Gaussians로 표현하는 PiG-Avatar를 제안합니다. 이는 표현을 템플릿 위상(template topology)으로부터 분리하여, 표면 기반 매개변수화(surface-based parameterizations)의 기하학적 제약을 피할 수 있게 합니다. 운동학적 일관성(Kinematic coherence)은 3D barycentric anchor transport를 통해 유지되는데, 이는 기하학을 제약하지 않으면서 움직임을 가이드하며 anchor가 템플릿 표면으로부터 자유롭게 벗어날 수 있도록 하여, 구조적으로 조밀하고 안정적인 시간적 표면 대응(temporal surface correspondences)을 생성합니다. 이러한 제약 없는 공식을 다루기 쉽게 만들기 위해, 우리는 Sobolev-preconditioned neural-field 업데이트와 새로운 KNN 기반의 정준 anchor 기하학 프리컨디셔닝(preconditioning)을 결합한 이중 수준의 공간적 일관성 최적화(dual-level spatially coherent optimization)를 도입합니다. 이러한 메커니즘들은 함께 anchor 밀도의 창발적 자기 조직화(emergent self-organization)를 유도합니다. 즉, anchor는 명시적인 휴리스틱 없이도 곡률이 높거나, 외관 변화가 심하거나, 비일관적인 움직임이 있는 영역으로 이동합니다. 그 결과, 복잡한 의류 기하학 및 층이 있는 표면이 자연스럽고 고충실도(high-fidelity)의 출력물로 나타납니다. 이 단일 표현은 또한 공유된 field와 결합된 anchor graph를 통해 거친 수준(coarse-level)의 감독(supervision)이 더 미세한 수준으로 전파되는 다중 세부 수준(multiple levels of detail)에 걸친 계층적 재구성(hierarchical reconstruction)을 지원합니다. 복잡한 의류와 까다로운 비강체 움직임을 가진 피사체를 포함하는 기존 벤치마크에서, PiG-Avatar는 최첨단(state-of-the-art) 렌더링 품질을 달성하고, 불완전한 신체 모델 초기화에 대해 견고하게 일반화되며, 모든 세부 수준에서 실시간으로 렌더링됩니다.