GestureFAR: 흐름 자기회귀를 이용한 스트리밍 공동 발화 제스처 생성

요약

본 논문은 스트리밍 음성 기반의 자연스러운 공동 발화 제스처 생성을 위한 새로운 프레임워크 GestureFAR를 제안합니다. 기존 방식이 가진 이산적 토큰 압축으로 인한 사실성과 다양성 제한 문제를 해결하고자 했습니다. GestureFAR는 흐름 자기회귀(flow autoregression)와 트랜스포머 구조를 결합하여 인과적이면서도 연속적인 모션 잠재값 생성을 실시간으로 구현합니다.

핵심 포인트

• GestureFAR: 스트리밍 공동 발화 제스처 생성 프레임워크 제시
• 흐름 자기회귀(flow autoregression)를 통해 연속적이고 사실적인 움직임 표현 가능
• 토큰별 흐름 매칭 헤드와 증류 전략으로 실시간 지연 병목 현상 개선
• BEAT2 데이터셋 실험 결과, 품질과 낮은 지연 시간 모두에서 우수한 성능 입증