Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 논문은 애니메이션 가능한 비인간형 헤드 아바타를 위한 의미론적 블렌드셰이프 세트 구축 프레임워크 RegHead를 제안합니다. 이 프레임워크는 공유 표정 어휘와 교차-아이덴티티 리타겟팅을 지원하며, 특히 피드포워드 등록 모델을 사용하여 비인간형 아이덴티티의 표정 메시를 효율적으로 변환하는 것이 핵심입니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.GR (Graphics)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기우리는 애니메이션 가능한 비인간형(non-humanoid) 헤드 아바타를 위한 의미론적(semantic) 블렌드셰이프 세트를 구성하는 프레임워크인 RegHead를 제시합니다. 고정된 표정 어휘(expression vocabulary)와 함께, 의미론적 블렌드셰이프는 저차원적이고 해석 가능한 애니메이션 인터페이스를 제공하며 교차-아이덴티티 리타겟팅(cross-identity retargeting)을 지원합니다. 이러한 블렌드셰이프 세트를 구축하는 것은 여전히 비용이 많이 드는데, 그 이유는 (i) 표정 일관성 감독 데이터가 부족하고, (ii) 생성된 4D 에셋이 일반적으로 대응 관계를 갖지 못하며, (iii) 얼굴 움직임이 매우 국소적(localized)이기 때문입니다. 우리는 다음 세 가지 것을 제안합니다: (1) 미세 조정된 이미지 편집을 통해 작은 아티스트-리깅 라이브러리를 확장하여 얻은, 공유 표정 어휘와 쌍을 이루는 비인간형 아이덴티티의 대규모 데이터셋; (2) 국소화된 얼굴 변형에 맞춰진 조밀한 확률적 앵커 모션 표현(dense stochastic anchor motion representation); 그리고 (3) 미등록 표정 메시를 대응 관계가 있는 블렌드셰이프 기반으로 변환하여, 중립 형태로부터 앵커 기반 변형을 예측하는 빠른 피드포워드 등록 모델입니다. 실험 결과에 따르면, 우리의 접근 방식은 베이스라인보다 더 높은 충실도의 표정 메시를 생성하며, 최적화(optimization)보다 수 배 빠르게 작동합니다. 나아가 우리는 인간 얼굴 추적 신호로부터 비인간형 캐릭터로의 실시간 리타겟팅을 시연하여, 헤드 포즈와 국소화된 얼굴 움직임을 모두 포착함을 보여줍니다. 저희 프로젝트 페이지는 https://snap-research.github.io/RegHead/에서 확인할 수 있습니다.