ASR이 구두로 전달된 전화번호를 정확하게 포착하는지 테스트한 결과 (독일어 및 프랑스어)

스크립트는 완벽해 보이지만 여전히 잘못된 전화번호를 포함할 수 있습니다. 발신자가 +33 6 05 36 23 71이라고 말하면, 시뮬레이션된 전화선에서 Whisper는 +33 6 75 36 23 71을 기록합니다. 문장은 괜찮아 보이고, 다운스트림의 모든 양식은 잘못된 번호를 저장하게 됩니다. WER(Word Error Rate)은 나머지 문장이 맞기 때문에 거의 알아차리지 못합니다. 저는 이러한 실패를 중심으로 벤치마크를 구축했습니다. VoxEntity-EU는 음성 시스템이 독일어와 프랑스어로 구두로 전달된 이름, 전화번호, 이메일, 날짜, 우편 주소 또는 참조 코드를 정확하게 포착하는지 점수를 매깁니다. 하나의 잘못된 문자도 슬롯을 실패하게 만듭니다.

설정: Qwen3-TTS를 사용하여 생성한 180개의 합성 시나리오(독일어 및 프랑스어)로, 각각 깨끗한 16 kHz 버전과 시뮬레이션된 8 kHz 전화 채널을 거친 버전을 사용했습니다. 시스템당 120개의 독립적인 테스트 시나리오가 있으며, 각 시나리오는 240개의 점수 항목으로 구성되어 있고, 모든 시스템에 동일한 추출기(extractor)를 사용했습니다.

정확한 슬롯 정확도 (95% 신뢰 구간): - Whisper large-v3-turbo: 34.2% [28.3, 40.4] - Voxtral Mini 3B: 37.1% [30.0, 43.8] - 동일한 정확한 텍스트를 추출기에 입력했을 때 (천장): 90.8% [87.5, 94.2]

두 ASR 시스템은 통계적으로 구별할 수 없습니다(차이 −2.9 pp [−7.1, +1.3]). 이는 본질적으로 '무효 결과(null result)'로 발표됩니다. 문제가 발생하는 지점: 이메일의 경우 언어와 시스템에 따라 020% 수준이며, 전화번호는 1025% 수준입니다. 시뮬레이션된 전화선만으로도 Whisper에게는 5점의 손실이 발생합니다 [+0.8, +10.0]. 인간 음성 제어(FLEURS)에서는 시뮬레이션 채널이 WER을 거의 두 배로 증가시키며, 이 제어는 일반화 주장이 아니라 채널 점검이기 때문에 FLEURS가 훈련 데이터에 포함되었을 가능성이 높습니다.

주의사항 (Caveats): 제가 먼저 말씀드리고 싶은 내용입니다: - 음성은 합성(synthetic)입니다. 두 번째 TTS 계열(Piper)이 동일한 시나리오를 음성으로 만들었을 때, Whisper는 10점 더 높은 점수를 기록하며 [+4.2, +15.4]하고 전화번호는 15%에서 55~70%로 급증합니다. 절대적인 수치는 합성기(synthesizer)에 따라 달라지므로, 결과는 TTS 계열별로 발표됩니다. - 검토 상태: 자동화된 QA와 제가 직접 청취한 부분 점검을 거쳤으며, 문제는 발견되지 않았습니다. 아직 체계적인 클립별 인간 검토가 이루어지지 않았기 때문에 코퍼스는 잠정적으로 라벨링되었습니다.

• 한 가지 문제점 때문에, 이 부분이 중요합니다: 제가 처음 만든 추출기 버전이 잘못된 헤드라인 결론을 내렸습니다. 저는 이를 공개적으로 철회했으며, 변경 로그에 무엇이 잘못 측정되었는지 기록되어 있습니다. 모든 것은 네트워크 연결 없이 CPU에서 재점수화되며, 예측값은 체크섬과 함께 고정되고, 노트북은 릴리스 번들에서 모든 표를 재생성합니다. 또한 각 점수화된 사례를 듣고 실패한 부분을 직접 들을 수 있는 결과 브라우저도 있습니다. 다음에는 무엇을 테스트해 보시겠습니까? 다른 TTS 계열이거나 추출기가 취약한 언어라면 동일한 파이프라인에 부하가 걸릴 것입니다. 방법론 질문 환영합니다. 저는 ASR이 독일어와 프랑스어로 구두로 전달된 전화번호를 정확하게 포착하는지 벤치마킹했습니다. Whisper: 34% 정확. 같은 텍스트를 직접 작성: 91% ts. 데이터셋 (오디오 포함): https://huggingface.co/datasets/Gjusev/voxentity-eu 실패 사례 듣기: https://huggingface.co/spaces/Gjusev/voxentity-eu-results 코드 및 보고서: https://github.com/Gjusev/voxentity-eu /u/Gjuesev 제출 [링크] [댓글]