자동 음성 인식 (ASR) 에서 언어 모델 재평가의 정성적 평가

요약

본 논문은 자동 음성 인식(ASR) 시스템 평가가 단어 오류율(WER)에만 의존하는 한계를 지적하며, 보다 심층적인 분석을 목표로 합니다. 따라서 WER 외에도 언어 모델의 기여도를 측정하기 위해 POSER(Part-of-speech Error Rate)와 EmbER(Embedding Error Rate)라는 두 가지 새로운 평가 지표를 제안합니다. 이 지표들은 전사된 단어의 문법적 정확성과 의미론적 거리를 고려하여 ASR 시스템의 언어 모델 재평가 효과를 정량적으로 분석할 수 있게 합니다.

핵심 포인트

• ASR 시스템 평가는 WER(Word Error Rate)에만 의존하는 것은 한계가 있다.
• 제안된 POSER(Part-of-speech Error Rate)는 전사 오류의 문법적 측면을 평가한다.
• EmbER(Embedding Error Rate)은 잘못 전사된 단어들의 의미론적 거리를 고려하여 WER을 수정하는 방법을 제시한다.
• 이러한 새로운 지표들은 후처리 재평가 단계에서 언어 모델이 제공하는 언어학적 기여를 정량적으로 측정할 수 있게 한다.