WAXAL-NET: 19개 아프리카 언어에 걸친 미세 조정된 에지 ASR

우리는 WAXAL 코퍼스에 포함된 19개 언어의 대화형 아프리카 음성에 대해, 소형 도메인 특화 ASR (Automatic Speech Recognition, 자동 음성 인식) 모델이 대규모 다국어 파운데이션 모델 (Foundation Models)보다 뛰어난 성능을 보일 수 있는지 평가합니다. 미세 조정된 (Fine-tuned) 에지 모델들은 가장 우수한 제로샷 (Zero-shot) 베이스라인의 $64.9%$와 비교하여 $38.0%$의 매크로 평균 WER (Word Error Rate, 단어 오류율)을 달성하였으며, 이는 모델 크기가 $3 ext{--}40$배 더 작음에도 불구하고 $26.9$ 퍼센트 포인트의 감소를 이룬 결과입니다. 이러한 결과는 자발적인 아프리카 음성 인식에 있어 도메인 특화 (Domain Specialization)가 규모 (Scale)보다 더 중요하다는 것을 확인시켜 줍니다. 도메인 간 평가 (Cross-domain evaluation) 결과, 미세 조정된 모델들은 분포 외 (Out-of-distribution, OOD) 음성에서도 사용 가능한 수준의 성능을 회복하는 반면, 제로샷 모델들은 테스트 도메인이 사전 학습 (Pretraining) 분포와 일치할 때 다시 우위를 점하는 것으로 나타났습니다. 조사된 모든 언어에 걸쳐 실시된 원어민 분산 감사 (Distributed native-speaker audit)를 통해 언어학적 근거를 갖춘 오류 분류 체계 (Error taxonomy)를 구축하였으며, 이를 통해 CTC (Connectionist Temporal Classification) 및 자기회귀 (Autoregressive) 아키텍처가 언어군에 따라 다르게 동작함을 보여줍니다. 나아가, 우리는 WER만으로는 음절 문자 (Syllabary-script) 언어의 성능을 제대로 나타낼 수 없음을 보여줍니다. 이들 언어에서는 CER (Character Error Rate, 음절 오류율)/WER 비율을 통해 헤드라인에 보도된 WER보다 실질적으로 더 높은 문자 수준 정확도를 확인할 수 있습니다. 마지막으로, 향후 아프리카 ASR 연구에 기여하기 위해 모든 모델 가중치 (Weights), 미세 조정 및 평가 스크립트, 그리고 19개 언어 전체를 아우르는 정제된 WAXAL 서브셋을 공개합니다.