자동 음성 인식(Automatic Speech Recognition, ASR)은 전통적으로 단어 오류율(Word Error Rate, WER)을 사용하여 평가해 왔으며, 이 지표는 의미에 둔감합니다. 임베딩 기반의 의미론적 지표가 인간의 인지 능력과 더 높은 상관관계를 보이지만, 디코더 기반 대규모 언어 모델(Large Language Models, LLMs)은 이 작업에 대해 여전히 충분히 탐구되지 않은 영역입니다. 본 논문에서는 세 가지 접근 방식을 통해 LLM의 관련성을 평가합니다: (1) 두 후보 중 최적의 가설 선택, (2) 생성형 임베딩을 사용한 의미론적 거리 계산, 그리고 (3) 오류에 대한 정성적 분류입니다. HATS 데이터셋에서, 최고의 LLM은 가설 선택 시 인간 주석가와 92~94%의 일치도를 달성하여 WER의 63%보다 높았으며, 이는 의미론적 지표보다도 우수한 성능을 보였습니다. 디코더 기반 LLM의 임베딩은 인코더 모델과 유사한 성능을 보여줍니다. 결론적으로, LLMs는 해석 가능하고 의미론적인 ASR 평가를 위한 유망한 방향을 제시합니다.