NSV-Shift: 음성 비언어적 발화 이해 및 응답 적응을 위한 대조적 벤치마크

요약

본 글은 음성 비언어적 발화(NSVs)를 이해하고 이에 맞춰 응답을 조정할 수 있는지 평가하는 대조적 벤치마크인 NSV-Shift를 소개합니다. 이 벤치마크는 NSV 인식, 감정 이해, 그리고 적절한 응답 생성 능력을 다섯 가지 모델로 평가했습니다.

핵심 포인트

• NSV-Shift는 비음성적 발화(NSVs) 이해 및 응답 적응을 위한 대조적 벤치마크입니다.
• 모델들은 NSV 탐지 능력은 좋았으나, 미세한 감정 해석이나 차별화된 응답 생성에 어려움을 보였습니다.
• 데이터 구축 파이프라인과 데이터셋은 GitHub에서 공개적으로 이용 가능합니다.