Real World VoiceEQ 소개: 음성 AI의 인간적 품질 측정

Real World VoiceEQ 벤치마크

상호작용 테이블에서 말하는 스피치 모델 순위를 확인해 보세요.

음성은 빠르게 AI의 주요 인터페이스가 되고 있습니다. 고객 지원, 의료, 교육, 엔터테인먼트, 개인 비서 등 음성은 사람들이 AI와 상호작용하는 방식으로서 텍스트를 점점 대체하고 있습니다.

지난 몇 년 동안 음성 모델은 극적으로 발전했습니다. 단어 오류율(Word error rates)은 계속 하락하고, 지연 시간(latency)은 대화 속도에 도달했으며, 많은 기존 벤치마크는 포화 상태에 근접하고 있습니다. 하지만 음성 AI를 정기적으로 사용하는 사람이라면 무언가 여전히 어색하다고 느낍니다.

음성 모델은 대화 과정에서 다른 사람처럼 들릴 수 있고, 망설임이나 불확실성을 놓칠 수 있으며, 억양(accents), 소음(noise) 또는 감정적인 발화에 어려움을 겪을 수 있습니다. 이러한 단점들은 지연 시간과 단어 오류율에 초점을 맞춘 벤치마크에서는 쉽게 간과됩니다. 사람들은 음성 시스템이 진정으로 경청하고, 적절하게 응답하며, 실제 대화에서 자연스럽고 신뢰할 수 있는지 여부에 관심을 가집니다.

이러한 품질을 측정하기 위해, 우리는 Real World VoiceEQ를 구축했습니다. 이는 음성 상호작용의 인간적 품질을 평가하도록 설계된 벤치마크입니다. 이 벤치마크는 음성 시스템이 어조와 감정부터 화자 식별(speaker identity) 및 배경 맥락에 이르기까지, 전사본(transcripts)이 놓치는 음향 정보(acoustic information)를 인식하고 생성하며 응답할 수 있는지 평가합니다.

Real World VoiceEQ는 40개 이상의 선도적인 독점 및 오픈소스 음성 모델을 15가지 이상의 핵심 평가 차원에 걸쳐, 그리고 자동 음성 인식(Automatic Speech Recognition, ASR), 텍스트-음성 변환(Text-to-Speech, TTS), 음성-음성 변환(Speech-to-Speech, S2S), 및 음성 이해(Speech Understanding)를 아우르는 60개 이상의 지표에 걸쳐 평가합니다.

Real World VoiceEQ는 다양한 인구 통계, 말하는 스타일, 그리고 음향 환경 전반에 걸쳐 수집된 1백만 개가 넘는 개인의 인간 평점을 바탕으로 개발되었습니다. 현재 이 벤치마크에는 785,000개의 TTS 평가와 48,000개의 STS 평가가 포함되어 있어, 현재까지 수행된 음성 AI에 대한 가장 큰 규모의 인간 평가 중 하나입니다.

모든 평가는 유연하고 음성 네이티브 평가 플랫폼인 Kairos를 사용하여 진행되었습니다. 이 동일한 인프라는 최첨단 AI 연구소와 기업들이 특정 사용 사례에 맞춰 사용자 지정 평가를 실행하고, 실제 음성 시스템의 미세한 실패 모드를 식별하며, 인간 선호도 데이터를 생성하고, 강화학습(RL) 및 인간 피드백을 통해 모델을 지속적으로 개선할 수 있도록 합니다.

단일한 '최고' 음성 모델을 향한 경쟁은 전문화된 기능들의 집합으로 변화하고 있습니다.

오늘날의 선도적인 시스템들은 기술적 정확성, 감정 이해, 대화 지능, 표현력, 견고성을 포함하여 서로 다른 강점들을 최적화합니다. 예약 참조 번호, 은행 계좌 세부 정보 또는 복잡한 의약품 이름을 반복하는 데 탁월한 모델이 있을지라도, 감정적으로 풍부한 음성을 생성하는 데 어려움을 겪을 수 있습니다. 또 다른 모델은 놀라울 정도로 자연스럽게 들릴 수 있지만, 정밀도를 요구하는 작업에서는 신뢰성이 떨어질 수 있습니다.

음성 AI가 성숙함에 따라, 진전을 측정하기 위해서는 이러한 기능들을 단일한 종합 점수로 통합하기보다는 독립적으로 평가할 필요성이 점점 커지고 있습니다. 저희 TTS(Text-to-Speech) 평가에서, 모든 8가지 역량 그룹 전반에 걸쳐 상위 5위에 랭크된 시스템 구성은 없었습니다. 이는 단 하나의 '최고' 음성 모델이 존재하지 않음을 강조합니다.

음성-음성(Speech-to-Speech) 모델은 우리가 평가한 모든 범주 중 가장 넓은 편차를 보였습니다. 일부 시스템은 감정을 매우 잘 인식했지만, 자연스럽게 반응하는 데 어려움을 겪었습니다. 저희는 오디오에 대한 접근성이 에이전트들이 그 안에 담긴 준언어적 정보(paralinguistic information)를 사용한다는 것을 보장하지 않는다는 것을 발견했습니다. 일부 시스템은 여전히 전사본(transcript) 주도적이어서, 말하는 단어들에 의존하면서 톤, 속도 조절(pacing), 망설임, 강조, 음량과 같은 신호들을 간과했습니다.

인간들은 이러한 신호들을 사용하여 자신감, 불확실성, 좌절감, 비꼼(sarcasm), 공감 등을 자연스럽게 추론합니다. 오늘날의 모델들은 종종 이를 놓칩니다.

은행 상담원이 잠재적으로 사기성 거래인지 여부를 묻는 상황을 상상해 보세요. 자신감 있는 '예'와 망설이는 '…예…'는 스크립트가 동일하더라도 완전히 다른 의미를 가질 수 있습니다. 인간은 그 차이를 즉시 알아차립니다. 하지만 오늘날의 많은 음성 모델들은 그렇지 못합니다.

많은 기존 벤치마크들이 한계에 다다르고 있으며 실제 세계의 조건을 반영하지 못합니다. 모델들은 여전히 악센트가 있는 발화, 여러 화자의 중첩(overlapping speakers), 감정, 배경 소음, 그리고 긴 대화에서 어려움을 겪습니다. 저희 평가에서는 성능이 기존 벤치마크가 시사하는 것보다 선도적인 오픈소스 및 독점 모델들 사이에서 훨씬 더 다양하게 나타났습니다. 한 예로, 소음이 깔린 발화에서의 전사 단어 오류율(transcription word error rates)은 음악이 깔린 발화에서의 오류율보다 약 네 배 높았는데, 이는 단일한 배경 오디오 점수가 실제 실패 모드를 얼마나 가릴 수 있는지 보여줍니다.

예비 연구에서 저희는 일부 모델들이 확립된 공개 벤치마크에 최적화되었을 가능성을 발견했습니다. 몇몇 모델들은 참고 스크립트(reference transcripts)에서 알려진 오류를 재현했고, 임의적인 철자 규칙을 따랐으며, 심지어 오디오에 존재하지 않았던 마스킹된 단어까지 복원했습니다.

LLM은 현재 텍스트 기반 모델 평가에 광범위하게 사용되고 있지만, 저희의 발견은 음성 평가를 위해서는 스피치-언어 모델(SLMs)을 더 신중하게 사용해야 함을 시사합니다. 선도적인 SLM들을 훈련된 인간 평가자들과 텍스트-음성 변환(text-to-speech) 평가에서 비교했을 때, 일치는 명확하고 검증 가능한 답변이 있는 발음 정확도와 같은 작업에서 가장 높았습니다.

더 주관적인 평가에서는 일치가 떨어졌습니다. SLM들은 때때로 텍스트 기반의 맥락적 단서(contextual cues)로부터 감정을 추론하는 것처럼 보였고, 음성이 연기 역할에 적합한지 또는 일관된 정체성을 유지했는지와 같은 개방형 판단에서는 일치가 가장 낮았습니다. 자동화된 평가 도구들은 잘 정의된 작업에는 유용할 수 있지만, 판단이 음향-맥락(acoustic-context), 지각(perception), 그리고 사회적 해석에 의존하는 경우에는 아직 인간 청취자를 대체할 수는 없습니다.

음성이 AI의 핵심 인터페이스 중 하나가 되면서, 속도와 기술적 정확성만으로는 어떤 시스템이 성공할지 더 이상 결정하지 못하게 될 것입니다. 사람들이 궁극적으로 선택할 모델은 단순히 이상적인 벤치마크 조건뿐만 아니라, 실제 대화의 복잡성을 아우르며 인간처럼 이해하고 표현하며 응답할 수 있는 모델일 것입니다.

수십 년 동안 음성 AI는 표준화된 벤치마크의 정량적 지표를 최적화하는 방식으로 발전해 왔습니다. 전사 정확도를 위한 WER부터, 음성 품질을 위한 PESQ나 DNSMOS 같은 객관적인 지각 측정 지표까지 말입니다. 저희는 Real World VoiceEQ가 인간 기반의 지표를 제공함으로써 합성 음성 상호작용의 구성 요소를 평가하는 패러다임을 확장할 수 있기를 바랍니다.

전체 기술 보고서를 읽고 공개 리더보드를 탐색하거나, Hume에 연락하여 Real World VoiceEQ를 사용해 귀하의 음성 모델 또는 에이전트를 평가받거나, 특정 사용 사례에 맞춘 사용자 지정 평가 설계를 할 수 있습니다.