토큰에서 얼굴로: 3D 얼굴 애니메이션을 위한 이산 음성 표현 연구

요약

본 연구는 음성 기반 3D 얼굴 애니메이션의 품질 향상을 위해 다양한 음성 표현(SSL 특징, 신경 코덱 라텐트 등)을 비교 평가했습니다. 네 가지 표현 계열을 객관적 지표와 지각적 평가로 분석하고, 특히 음성학적 클래스를 인코딩하는 것이 정확한 얼굴 애니메이션 예측에 유용함을 입증했습니다.

핵심 포인트

• 음성 기반 3D 얼굴 애니메이션에서 표현 선택이 중요함.
• SSL 특징, 신경 코덱 라텐트 등 다양한 음성 표현을 비교 분석함.
• 음성학적 클래스 인코딩이 정확한 얼굴 애니메이션 예측에 유용함을 발견함.
• Audio Visual Text-to-Speech (AVTTS) 파이프라인을 제안하여 음성과 3D 얼굴 움직임을 디코드함.