스트리밍 음성-대-음성 (speech-to-speech) 언어 모델은 음성 질의에 대해 합성 음성으로 직접 답변하는 것을 목표로 합니다. 그러나 표준 음성 및 텍스트 벤치마크는 타이밍, 발화 순서 교대 (turn-taking), 운율 (prosody), 대인 관계적 태도 (interpersonal stance), 언어 및 방언 일관성, 그리고 관계 인지적 적절성이 결합되어 인지된 품질을 형성하는 대화 상황에서 이러한 시스템이 자연스럽게 동작하는지를 포착하지 못합니다. 우리는 질의응답 상호작용을 통해 음성-대-음성 언어 모델의 자연스러움을 평가하기 위한 벤치마크인 SPEARBench를 소개합니다. SPEARBench는 Seamless Interaction 코퍼스로부터 통제된 대화 프롬프트를 구축하고, 여러 모델에 대해 추론 (inference)을 실행하며, 응답 지연 시간 (latency), 중단 (interruptions), 음성 품질, 자동 음성 인식 (ASR) 강건성, 언어 및 방언 일관성, 감정적 자연스러움, 대인 관계적 태도, 그리고 설명 가능한 분포 기반 베이스라인 (explainable distributional baselines)을 다루는 다차원 프로토콜을 사용하여 생성된 답변을 평가합니다. 이 벤치마크는 참조 조건으로서 원본 인간 답변을 포함하며, 여러 최신 모델에 대한 결과를 보고합니다. 결과에 따르면 현재 모델들은 높은 신호 수준의 품질과 낮은 ASR 오류를 달성할 수 있지만, 지연 시간, 중첩 (overlap), 방언 보존, 감정적 적응, 그리고 대인 관계적 태도 역학 측면에서는 여전히 인간의 대화 행동과 차이를 보입니다.