EmoTransCap: 담화 내 감정 전환 인식용 음성 캡셔닝을 위한 데이터셋 및 파이프라인

요약

본 논문은 기존의 정적 단일 감정 분석에 머물렀던 음성 감정 캡셔닝(SEC) 분야의 한계를 극복하고, 담화 수준의 동적인 '감정 전환'을 인식하는 새로운 패러다임인 EmoTransCap을 제안합니다. 이를 위해 시간적 감정 역학을 통합한 대규모 데이터셋과 자동 파이프라인을 구축했으며, 이 데이터는 음향 속성과 시간적 단서를 결합하여 의미론적으로 풍부한 설명을 생성하도록 설계되었습니다. 또한, 감정 전환 탐지 및 디아라이제이션을 수행하는 다중 작업 모델(MTETR)과 인간적인 감정 표현력을 갖춘 합성 시스템도 함께 소개합니다.

핵심 포인트

• 담화 수준의 동적 감정 변화를 포착하는 '감정 전환 인식용 음성 캡셔닝'(EmoTransCap) 패러다임을 제안함.
• 시간적 감정 역학을 통합한 최초의 대규모 데이터셋과 자동 생성 파이프라인을 구축하여 연구 자원을 제공함.
• 음향 속성과 시간적 단서를 결합하여 의미론적으로 풍부한 설명을 생성하는 다중 작업 모델(MTETR)을 개발함.
• 감정 전환 탐지 및 디아라이제이션을 동시에 수행할 수 있는 통합적인 감정 이해 프레임워크를 제시함.
• 인간과 유사한 감정 표현력을 갖춘 제어 가능한 음성 합성 시스템도 함께 소개하여 응용 가능성을 높임.