칵테일 파티 오디오를 이용한 역 튜링 테스트: 인간이 음성 모델을 능가했지만, 충분하지는 않다 [P]

안녕하세요. 배경 잡담 속에서 특정 목소리 하나만을 분리해내는 것이 인간과 기계를 구별할 수 있는지 알아보기 위해 제가 진행했던 작은 프로젝트를 공유하고자 합니다. 일종의 오디오 CAPTCHA(자동 입력 방지 문자) 개념으로 접근했습니다.

설정:

합성된 클립 40개: 합성 음성이 읽는 목표 문장 하나가 여러 배경 목소리들(무작위 짧은 구절을 읽음, 시간차 시작, 4 dB 감쇠 적용)과 혼합되어 있습니다.
인간 전사본 146개 (18회 세션):
재생 횟수 제한 없음
모델 구성 8가지: Whisper base/small, Vosk, Wav2Vec2, Qwen3-ASR 0.6B, Parakeet CTC 0.6B, 그리고 naively한 프롬프트와 주 화자에 집중하라는 지침을 받은 Gemini 3.8 Flash
주요 측정 기준: 단어 정확도 (word accuracy) (1 - WER로 계산하며, 최소값은 0으로 고정); 기본 통과 임계값 = word accuracy ≥ 0.5

요약(TL;DR): 인간이 이 과제에서 더 나았지만, 그 격차가 신뢰할 수 있는 CAPTCHA가 되기에는 너무 좁습니다.

결과:

인간: 평균 단어 정확도 0.71 vs. 지시를 받은 Gemini: 0.54 (Qwen3-ASR은 0.55)
통과율: 인간 77% vs. Gemini 55%
참고: ≥0.5에서 ≥0.9로 임계값을 변경해도 제가 처음에 대략적으로 생각했던 목표치(인간 > 80%, 기계 < 20%)에 근접하지 못했습니다.
동일 클립 쌍 비교 vs. Gemini: +0.13 (95% CI +0.03 ~ +0.23, 세션 레벨 부트스트랩); AUC 0.62
지침 프롬프트만으로도 Gemini의 성능을 0.34에서 0.54로 끌어올렸습니다.
재생 횟수는 인간에게 측정 가능한 도움을 주지 못했습니다. 사람들은 모델들에게 가장 어려웠던 클립들을 다시 재생하는 경향을 보였습니다.

오류 분석:

한계점:

저는 잠자고 있던 블로그를 다시 활성화하여 글을 작성했고 (https://www.kelvinjiang.com/2026/10/can-machines-follow-voice-through-crowded-room.html), 코드, 데이터 및 오디오 코퍼스도 공유했습니다: https://github.com/cloudkj/crosstalk

이 방법론에 대한 피드백은 매우 환영합니다. 특히 사람에게는 쉬우면서 모델들에게는 지속적으로 어려운 오디오 아이디어가 있다면 좋습니다!
제출자: /u/cloud_kj [링크] [댓글]

요약