자연스러운인간-컴퓨터 상호작용에 핵심인 음성 비언어적 단서(paralinguistic cues)는 현재

요약

본 논문은 자연스러운 인간-컴퓨터 상호작용에 필수적이지만, 현재 대규모 오디오-언어 모델(LALMs)에서 평가가 미흡했던 음성 비언어적 단서(paralinguistic cues)를 체계적으로 평가하기 위한 벤치마크인 SpeechParaling-Bench를 제안합니다. 이 벤치마크는 기존보다 훨씬 방대한 100개 이상의 세밀한 특징을 지원하며, 영어-중국 병렬 음성 데이터 1,000개 이상으로 구성되어 있습니다. 평가 방식으로는 절대 점수 부여 대신 LALM 기반의 쌍별 비교(pairwise comparison) 파이프라인을 도입하여

핵심 포인트

• SpeechParaling-Bench는 기존보다 100개 이상의 세밀한 음성 특징을 포괄적으로 다룹니다.
• 평가 신뢰도를 높이기 위해 절대 점수 대신 LALM 기반의 상대적 선호도 비교 방식을 사용합니다.
• 실험 결과, 현존하는 최신 LALMs는 정적인 제어와 동적인 변조 모두에서 한계를 보였습니다.
• 음성 비언어적 단서 해석 실패가 상황별 대화 오류의 상당 부분(43.3%)을 차지함을 보여줍니다.