Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
스트리밍 음성-대-음성(speech-to-speech) 모델의 대화 자연스러움을 평가하기 위한 새로운 벤치마크인 SPEARBench를 제안합니다. 지연 시간, 발화 교대, 감정적 적응 등 다차원적인 프로토콜을 통해 기존 벤치마크가 포착하지 못한 대화의 질적 측면을 평가합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기스트리밍 음성-대-음성 (speech-to-speech) 언어 모델은 음성 질의에 대해 합성 음성으로 직접 답변하는 것을 목표로 합니다. 그러나 표준 음성 및 텍스트 벤치마크는 타이밍, 발화 순서 교대 (turn-taking), 운율 (prosody), 대인 관계적 태도 (interpersonal stance), 언어 및 방언 일관성, 그리고 관계 인지적 적절성이 결합되어 인지된 품질을 형성하는 대화 상황에서 이러한 시스템이 자연스럽게 동작하는지를 포착하지 못합니다. 우리는 질의응답 상호작용을 통해 음성-대-음성 언어 모델의 자연스러움을 평가하기 위한 벤치마크인 SPEARBench를 소개합니다. SPEARBench는 Seamless Interaction 코퍼스로부터 통제된 대화 프롬프트를 구축하고, 여러 모델에 대해 추론 (inference)을 실행하며, 응답 지연 시간 (latency), 중단 (interruptions), 음성 품질, 자동 음성 인식 (ASR) 강건성, 언어 및 방언 일관성, 감정적 자연스러움, 대인 관계적 태도, 그리고 설명 가능한 분포 기반 베이스라인 (explainable distributional baselines)을 다루는 다차원 프로토콜을 사용하여 생성된 답변을 평가합니다. 이 벤치마크는 참조 조건으로서 원본 인간 답변을 포함하며, 여러 최신 모델에 대한 결과를 보고합니다. 결과에 따르면 현재 모델들은 높은 신호 수준의 품질과 낮은 ASR 오류를 달성할 수 있지만, 지연 시간, 중첩 (overlap), 방언 보존, 감정적 적응, 그리고 대인 관계적 태도 역학 측면에서는 여전히 인간의 대화 행동과 차이를 보입니다.