TRACE: 이자 간 음성 대화에서의 시간적 관계 인지적 감정 동조 탐지

음성 AI 에이전트의 확산에 따라, 대화 상호작용에서의 감정 동조 (Emotional Entrainment)를 이해하는 것이 점점 더 중요해지고 있습니다. 감정 동조는 사회적 관계와 대화 맥락에 의해 형성되며, 시간에 따른 정서적 조정 (Affective Coordination)에 영향을 미칩니다. 우리는 이자 간 (Dyadic) 음성 상호작용에서의 감정 동조 탐지를 위한 데이터셋인 DyadEE를 소개합니다. 이 데이터셋은 감정적으로 동조된 대화와, 파트너 교체 및 감정 재합성 (Emotion Resynthesis)을 통해 동조가 방해된 합성 상호작용을 모두 포함하고 있습니다. 나아가 우리는 감정 미세 조정 (Emotion Fine-tuned)된 Whisper 표현으로부터 유도된 음향 임베딩 (Acoustic Embeddings)의 순차적 시퀀스로 이자 간 상호작용을 모델링하는 윈도우 레벨 (Window-level) 프레임워크인 TRACE를 제안합니다. 이는 각 샘플을 풀링된 발화 (Pooled Utterances)가 아닌 상호작용 흔적 (Interaction Trace)으로 취급합니다. DyadEE에 대한 실험 결과, 대화 맥락과 관계 정보를 통합하는 것이 감정 동조 탐지를 향상시킨다는 것을 보여주었으며, TRACE는 97.01%의 최고 정확도를 달성했습니다.