PiG-Avatar: 계층적 신경장(Neural-Field) 가이드 기반 가우시안 아바타

기존의 가우시안 아바타 (Gaussian avatar) 방식들은 일반적으로 신체 템플릿 표면 (body-template surface) 위에 기하 구조를 매개변수화하며, 이는 아바타의 표현 공간 (representation space)을 템플릿의 변형 공간 (deformation space)과 얽히게 만들어 층이 있는 구조, 신체 외부의 요소, 그리고 비강체 (non-rigid) 의류 기하 구조의 캡처를 제한합니다. 본 논문에서는 이러한 한계를 해결하기 위해 PiG-Avatar를 제안합니다. PiG-Avatar는 파라메트릭 신체 모델 (parametric body model)을 오직 운동학적 전송 (kinematic transport) 용도로만 사용하며, 아바타는 연속적인 신경장 (continuous neural field)에 의해 제어되는 볼륨형 정준 공간 (volumetric canonical space)에 고정된 가우시안 (Gaussians)으로 표현합니다. 이를 통해 표현을 템플릿 위상 (template topology)으로부터 분리하여, 표면 기반 매개변수화 (surface-based parameterizations)의 기하학적 제약을 피할 수 있습니다. 운동학적 일관성 (Kinematic coherence)은 3D 중심 좌표 앵커 전송 (3D barycentric anchor transport)을 통해 유지됩니다. 이는 기하 구조를 제약하지 않으면서 움직임을 가이드하며, 앵커 (anchors)가 템플릿 표면으로부터 자유롭게 벗어날 수 있도록 하여 구조적으로 조밀하고 안정적인 시간적 표면 대응 관계 (temporal surface correspondences)를 생성합니다. 이러한 비제약적 정식화 (unconstrained formulation)를 다루기 용이하게 만들기 위해, 우리는 Sobolev 사전 조건화된 신경장 업데이트 (Sobolev-preconditioned neural-field updates)와 새로운 KNN 기반의 정준 앵커 기하 구조 사전 조건화 (KNN-based preconditioning of canonical anchor geometry)를 결합한 이중 수준의 공간적 일관성 최적화 (dual-level spatially coherent optimization)를 도입합니다. 이러한 메커니즘들은 함께 앵커 밀도의 창발적 자기 조직화 (emergent self-organization)를 유도합니다. 즉, 앵커들은 명시적인 휴리스틱 (heuristics) 없이도 곡률이 높거나, 외관 변화가 심하거나, 비일관적인 움직임이 있는 영역으로 이동합니다. 그 결과, 복잡한 의류 기하 구조와 층이 있는 표면이 자연스럽고 고충실도 (high-fidelity)의 출력물로 나타납니다. 이 단일 표현 방식은 공유된 필드와 결합된 앵커 그래프 (coupled anchor graph)를 통해 거친 수준 (coarse-level)의 감독이 더 세밀한 수준으로 전파됨으로써, 여러 세부 수준에 걸친 계층적 재구성 (hierarchical reconstruction)을 추가로 지원합니다. 복잡한 의류와 까다로운 비강체 움직임을 가진 피사체를 포함하는 기존 벤치마크에서, PiG-Avatar는 최첨단 (state-of-the-art) 렌더링 품질을 달성하고, 불완전한 신체 모델 초기화에 대해서도 견고하게 일반화되며, 모든 세부 수준에서 실시간 (real time)으로 렌더링됩니다.