EVA-Bench: 음성 에이전트 평가를 위한 새로운 엔드투엔드 (End-to-end) 프레임워크

태스크를 완료하기 위해 음성 대화를 수행하는 인공지능 (AI) 시스템인 음성 에이전트 (Voice agents)는 기업용 애플리케이션 전반에 걸쳐 점점 더 많이 배치되고 있습니다. 그러나 기존의 벤치마크 중에는 현실적인 시뮬레이션 대화를 생성하는 것과 음성 특유의 실패 모드 (failure modes) 전체 범위에 걸쳐 품질을 측정하는 것, 이 두 가지 핵심 평가 과제를 공동으로 다루는 것이 없습니다. 우리는 이 두 가지를 모두 해결하는 엔드투엔드 (End-to-end) 평가 프레임워크인 EVA-Bench를 제시합니다. 시뮬레이션 측면에서 EVA-Bench는 동적인 다회차 대화 (multi-turn dialogues)를 통해 봇 대 봇 (bot-to-bot) 오디오 대화를 조율하며, 사용자 시뮬레이터의 오류를 감지하고 점수를 매기기 전에 대화를 적절히 재생성하는 자동 시뮬레이션 검증을 수행합니다. 측정 측면에서 EVA-Bench는 두 가지 복합 지표를 도입합니다: 태스크 완료 (task completion), 충실도 (faithfulness), 그리고 오디오 수준의 음성 충실도 (speech fidelity)를 포착하는 EVA-A (Accuracy); 그리고 대화 진행 (conversation progression), 구어적 간결성 (spoken conciseness), 그리고 발화 순서 타이밍 (turn-taking timing)을 포착하는 EVA-X (Experience)입니다. 두 지표 모두 서로 다른 에이전트 아키텍처 (agent architectures)에 적용되어 직접적인 아키텍처 간 비교를 가능하게 합니다. EVA-Bench는 세 가지 기업 도메인에 걸친 213개의 시나리오, 억양 (accent) 및 소음 (noise) 강건성 (robustness)을 위한 통제된 섭동 (perturbation) 스위트, 그리고 최고 성능과 신뢰할 수 있는 능력을 구분하는 pass@1, pass@k, pass^k 측정을 포함합니다. 세 가지 아키텍처 전체에 걸친 12개 시스템을 대상으로 조사한 결과, 다음과 같은 사실을 발견했습니다: (1) EVA-A pass@1과 EVA-X pass@1 모두에서 동시에 0.5를 초과하는 시스템은 없었습니다; (2) 최고 성능과 신뢰할 수 있는 성능은 상당히 차이가 났습니다 (EVA-A에서 pass@k - pass^k 중앙값 차이는 0.44); (3) 억양 및 소음 섭동은 상당한 강건성 격차를 드러냈으며, 그 영향은 아키텍처, 시스템 및 지표에 따라 달랐습니다 (평균 최대 0.314). 우리는 전체 프레임워크, 평가 스위트 및 벤치마크 데이터를 오픈 소스 라이선스 하에 공개합니다.