음성 에이전트 평가의 새로운 기준: EVA 프레임워크 소개

요약

기존 음성 에이전트 평가는 '정확도(Accuracy)'와 '대화 경험(Experience)'을 분리하여 다루는 한계가 있었습니다. EVA(End-to-End Evaluation) 프레임워크는 이를 통합적으로 평가하는 최초의 방법론입니다. EVA는 실제 봇 간 대화 환경에서 에이전트의 성능을 측정하며, 단순히 작업 성공 여부뿐만 아니라 자연스러움, 간결성 등 음성 상호작용 경험까지 종합 점수(EVA-A, EVA-X)로 산출합니다. 이 프레임워크는 항공 예약 변경 등의 시나리오를 기반으로 구축되었으며, 에이전트의 정확도와 사용자 경험은

핵심 포인트

• EVA는 음성 에이전트를 위한 통합 평가 프레임워크로, '정확도(Accuracy)'와 '경험(Experience)'을 동시에 측정합니다.
• 기존 평가는 개별 구성 요소에 국한되었으나, EVA는 다중 턴(multi-turn)의 실제 대화 흐름 전체를 평가합니다.
• EVA는 사용자 시뮬레이터, 에이전트, 도구 실행기 등 5가지 핵심 컴포넌트로 구성된 봇 간 아키텍처를 사용합니다.
• 평가 결과, 작업 성공률이 높을수록 사용자 경험은 떨어지는 '정확도-경험 상충 관계(Accuracy-Experience tradeoff)'가 확인되었습니다.