Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
음성 AI 에이전트의 감정 동조(Emotional Entrainment)를 탐지하기 위한 새로운 데이터셋 DyadEE와 프레임워크 TRACE를 제안합니다. TRACE는 음향 임베딩의 순차적 시퀀스를 활용하여 대화 맥락과 관계 정보를 통합 모델링합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기음성 AI 에이전트의 확산에 따라, 대화 상호작용에서의 감정 동조 (Emotional Entrainment)를 이해하는 것이 점점 더 중요해지고 있습니다. 감정 동조는 사회적 관계와 대화 맥락에 의해 형성되며, 시간에 따른 정서적 조정 (Affective Coordination)에 영향을 미칩니다. 우리는 이자 간 (Dyadic) 음성 상호작용에서의 감정 동조 탐지를 위한 데이터셋인 DyadEE를 소개합니다. 이 데이터셋은 감정적으로 동조된 대화와, 파트너 교체 및 감정 재합성 (Emotion Resynthesis)을 통해 동조가 방해된 합성 상호작용을 모두 포함하고 있습니다. 나아가 우리는 감정 미세 조정 (Emotion Fine-tuned)된 Whisper 표현으로부터 유도된 음향 임베딩 (Acoustic Embeddings)의 순차적 시퀀스로 이자 간 상호작용을 모델링하는 윈도우 레벨 (Window-level) 프레임워크인 TRACE를 제안합니다. 이는 각 샘플을 풀링된 발화 (Pooled Utterances)가 아닌 상호작용 흔적 (Interaction Trace)으로 취급합니다. DyadEE에 대한 실험 결과, 대화 맥락과 관계 정보를 통합하는 것이 감정 동조 탐지를 향상시킨다는 것을 보여주었으며, TRACE는 97.01%의 최고 정확도를 달성했습니다.