다양한 음성 언어 모델이 구음 장애 음성을 인식할 때 multimodal 컨텍스트를 활용하지 못하는 한계

자동 음성 인식 (ASR) 시스템은 구음 장애 (dysarthric) 와 다른 비정상적인 음성에서 여전히 취약합니다. 최근 오디오-언어 모델 (audio-language models) 은 추론 시간 (inference time) 에 추가 임상 컨텍스트를 조건부 처리함으로써 성능을 개선할 수 있는 가능성을 제기하지만, 이러한 모델이 해당 정보를 활용할 수 있는지 명확하지 않습니다. 우리는 Speech Accessibility Project (SAP) 데이터셋에 기반한 벤치마크를 소개하며, 구음 장애 음성의 전사 정확도를 높이는지 진단 라벨 (diagnosis labels), 의사가 도출한 음성 평점 (clinician-derived speech ratings), 그리고 점진적으로 풍부한 임상 설명이 성능을 개선하는지 테스트합니다. 9 개 모델에 대한 매칭된 비교를 통해 현재 모델들이 이러한 컨텍스트를 의미 있게 활용하지 않는다는 것을 발견했습니다: 진단 정보를 활용한 프롬프트와 임상적 상세한 프롬프트는 거의 개선 효과를 보이지 않으며, 오히려 단어 오류율 (word error rate) 을 악화시키는 경우가 많습니다. 우리는 프롬프트 분석을 보완하기 위해 컨텍스트 의존적인 파인튜닝 (fine-tuning) 을 수행하여, LoRA 적응과 다양한 임상 프롬프트 포맷의 혼합을 통해 0.066 의 WER 를 달성했습니다. 이는 고정된 베이스라인 대비 52% 의 상대적 감소이며, 컨텍스트가 없는 상황에서도 성능을 유지합니다. 하위 그룹 분석은 다운 증후군 (Down syndrome) 과 경도 중증도의 화자들에 대해 유의미한 개선 효과를 보여줍니다. 이러한 결과는 현재 모델의 한계를 명확히 하고 더 포용적인 ASR 을 위한 진척도를 측정하는 테스트베드를 제공합니다.