Whisper 모델의 제어된 미세 조정(Fine-Tuning)을 통한 강건한 아삼어 음성 인식

요약

자원이 부족한 아삼어의 음성 인식을 위해 Whisper 모델을 미세 조정(Fine-tuning)하는 연구를 제안합니다. 하드웨어 인지 최적화 파이프라인을 통해 성능을 크게 개선하였으며, 기존 Zero-shot 방식 대비 WER 및 CER 등 주요 지표에서 유의미한 향상을 달성했습니다.

핵심 포인트

• Mozilla Common Voice 데이터를 활용한 아삼어 ASR 시스템 구축
• T4 GPU 환경에 최적화된 혼합 정밀도 및 그래디언트 누적 학습 적용
• Zero-shot 베이스라인 대비 WER 78.26% 개선 달성
• 환각률(Hallucination rate) 96.70% 감소 및 실시간 계수 개선