자연스러운인간-컴퓨터 상호작용에 핵심인 음성 비언어적 단서(paralinguistic cues)는 현재

자연스러운 인간-컴퓨터 상호작용에 핵심인 음성 비언어적 단서(paralinguistic cues)는 현재 대규모 오디오-언어 모델(LALMs)에서 평가가 부족한 실정입니다. 이를 해결하기 위해, 본 연구진은 포괄적인 벤치마크인 SpeechParaling-Bench를 개발했습니다.

이 벤치마크는 기존의 소수 특징을 넘어 100개 이상의 세밀한 음성 특징을 지원하며, 1,000개가 넘는 영어-중국 병렬 음성 데이터셋으로 구성되어 있습니다. 또한, 미세 제어(fine-grained control), 문장 내 변화(intra-utterance variation), 상황 인식 적응(context-aware adaptation)의 세 가지 단계적 과제로 설계되었습니다.

평가의 객관성을 확보하기 위해, 이 연구는 절대 점수 방식 대신 LALM 기반의 '쌍별 비교(pairwise comparison)' 파이프라인을 도입했습니다. 이는 후보 응답을 고정된 기준선과 비교하여 상대적인 선호도를 판단함으로써, 주관성을 줄이고 안정적이며 확장 가능한 평가를 가능하게 합니다.

광범위한 실험 결과에 따르면, 현재의 LALMs는 음성 비언어적 특징의 포괄적인 정적 제어나 동적 변조 측면에서 상당한 한계를 보였습니다. 특히 상황별 대화 오류 중 43.3%가 바로 이러한 비언어적 단서 해석 실패에서 기인하는 것으로 나타나, 향후 인간 수준에 맞는 음성 비서 개발을 위해 더욱 견고한 비어널로그 모델링이 필요함을 강조합니다.