음성 AI의 '화자 교대 종료 감지'를 위한 통일되고 재현 가능한 공개 평가 기준

요약

LiveKit이 음성 AI의 화자 교대 종료 감지(turn detection)를 검증하기 위한 오픈소스 기준인 eot-bench를 공개했습니다. 14개 언어를 포함한 실제 대화 데이터셋을 통해 모델의 정확도와 응답 지연 시간 사이의 상충 관계를 평가합니다.

핵심 포인트

• 14개 언어를 지원하는 최초의 공개 인간-기계 대화 데이터셋 출시
• 단순 정확도가 아닌 오절단율과 응답 지연 시간의 상관관계 분석
• 실제 시나리오 시뮬레이션을 통한 재현 가능한 평가 기준 제공