영어 및 8개 인도어권 언어를 지원하는 오픈소스 EOU(턴 종료) 감지 모델 공개: 음성 에이전트의 중간 발화 끊김 방지
요약
인도어권 언어 사용 시 음성 에이전트가 자연스러운 발화 중단(pause)을 소리 끝으로 오인하는 문제를 해결하기 위해 EOU 감지 모델이 공개되었습니다. 이 모델은 Qwen2.5-0.5B를 기반으로 하며, 영어와 8개 인도어권 언어를 지원합니다. CPU 전용 ONNX Runtime을 사용하여 클라우드 연결 없이 로컬에서 작동하며 LiveKit Agents에 쉽게 통합할 수 있습니다.
핵심 포인트
- 인도어권 언어의 중간 발화 끊김 문제를 해결하는 EOU 감지 모델입니다.
- 영어 및 8개 주요 인도어권 언어를 지원하여 다국어 음성 에이전트에 적합합니다.
- CPU 전용 ONNX Runtime을 사용해 클라우드 추론 없이 로컬에서 구동됩니다.
- LiveKit Agents에 드롭인 방식으로 적용 가능하며, 검증 세트에서 91.3%의 TPR을 기록했습니다.
인도어권 사용자들을 위한 음성 에이전트는 전화를 거는 사람을 지속적으로 중간에 끊습니다. 인도어권 언어들은 동사를 문장 끝에 배치하는 경향이 있어, 'aapko kal phone…'처럼 발화가 멈추면 VAD(음성 활동 감지)가 이를 소리가 끝났다고 오인하고, 그 사이에 'kar dunga'라는 말이 나오기 전에 봇이 개입해 버립니다. VAD는 의미를 듣는 것이 아니라 침묵을 듣게 됩니다.
Qwen2.5-0.5B에서 미세 조정된(fine-tuned) 엔드-오브-턴(End-of-Turn, EOU) 감지기를 공개합니다. 이 모델은 실시간 전사본(live transcript)을 점수화하여 발화자가 말을 마쳤는지 예측합니다.
- 지원 언어: 영어 (English), Hinglish, 힌디어 (Hindi), 텔루구어 (Telugu), 타밀어 (Tamil), 마라티어 (Marathi), 벵골어 (Bengali), 구자라트어 (Gujarati), 펀자브어 (Punjabi)
- 구현 방식: CPU 전용 ONNX Runtime (~2GB, fp32)을 사용하여 완전히 로컬에서 작동하며 클라우드 추론이 필요 없습니다.
- 텍스트 전용: STT(Speech-to-Text)가 필요합니다. LiveKit Agents에 드롭인 방식으로 적용할 수 있으며, 해당 서비스의 텍스트 턴 감지기와 동일한 인터페이스를 사용합니다.
- 검증된 성능 (LiveKit Cloud): 요청 중간의 일시 정지 및 완전한 요청을 성공적으로 처리했습니다. 검증 세트(held-out validation set)에서 91.3%의 TPR(True Positive Rate)을 기록했으며, 불완전한 턴에 대한 오차 끊김은 약 10%로 보정되었고 AUC는 0.967입니다. LiveKit 공식 실시간 음성 테스트 환경(Hindi)에서는 동일한 예산으로 85.3%의 감지율을 보였습니다.
모델 + 플러그인: https://huggingface.co/tarun7r/indic-turn-detector (Apache-2.0)
피드백 환영합니다!
제출자: /u/martian7r
AI 자동 생성 콘텐츠
본 콘텐츠는 Reddit AI Engineering의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기