Learn2Chat: 상호작용 변조 모노로그 사전(Priors)을 통한 이인 대화 헤드 모델링 재고

요약

본 논문은 사실적인 디지털 휴먼을 위한 이인 대화 동작 생성 문제를 다룹니다. 기존 방식의 한계를 극복하기 위해, Learn2Chat이라는 통합 프레임워크를 제안합니다. 이는 사전 훈련된 모노로그 동작 사전을 활용하여 상호작용 변조로 이인 동작을 모델링함으로써, 음성 주도 동작과 사회적 피드백을 분리하고 구조화된 상호작용 모델링을 가능하게 합니다.

핵심 포인트

• Learn2Chat은 사전 훈련 모노로그 사전을 이용해 이인 대화를 모델링합니다.
• 음성 주도 동작과 사회적 상호작용 효과를 분리하여 구조화했습니다.
• Monologic-Anchored Motion Factorization으로 깨끗한 상호작용 표현을 추출합니다.
• 모델 비의존적이어서 다양한 모노로그 백본에 쉽게 통합 가능합니다.