PDB: 얼굴 애니메이션 리타게팅을 위한 점 기반 변형 블렌딩

메시(Mesh)에 구애받지 않는(agnostic) 얼굴 애니메이션 리타게팅은 구조가 다른 메시 간에 표정을 전이하지만, 표면 아티팩트 없이 얼굴 움직임을 보존하는 것은 여전히 어려운 과제입니다. 이를 해결하기 위해, 우리는 PDB, 즉 Point-Based Deformation Blending을 얼굴 애니메이션 리타게팅을 위해 제안합니다. PDB는 소스(source)의 중립 표현(neutral-expression) 쌍으로부터 압축된 변형 제어점(deformed control points) 집합과 타겟(target) 중립 메시로부터 블렌딩 가중치(blending weights)를 예측합니다. 이 가중치는 타겟당 한 번만 계산되어 프레임 전반에 걸쳐 재사용되며, 제어점은 각 소스 표현에 따라 변화합니다. ReLU는 비음수 가중치를 강제하고 정확한 0을 허용하며, 이후 행별 정규화(row-wise normalization)가 이루어집니다. 타겟 메시의 경우, 미리 정의된 케이지(cage), 사전 계산된 좌표, 학습된 요소별 변형 디코더(per-element deformation decoder), 또는 전역 재구성 솔브(global reconstruction solve) 없이 가중치와 제어점을 곱함으로써 직접적으로 재구성됩니다. 오직 자체 리타게팅 재구성 감독(self-retargeting reconstruction supervision)으로만 훈련되었음에도 불구하고, PDB는 쌍을 이루지 않은 크로스-아이덴티티(cross-identity) 학습 표현 없이도 크로스-아이덴티티 전이를 지원합니다. 실험 결과는 정확한 리타게팅, 빠른 추론 속도, 그리고 학습된 가중치 내의 국소적 지지(localized support)를 입증합니다. 표현 정확도와 국소 표면 보존에 대한 종합적인 평가는 평가된 밀집 변위 방식(dense displacement method) 대비 감소된 표면 아티팩트를 보여주면서 의도된 움직임을 유지함을 나타냅니다. 지각적 평가(Perceptual evaluations)는 자체 및 크로스-리타게팅 모두에서 표현 충실도와 시각적 품질을 추가적으로 뒷받침합니다.