언어 식별 (Language Identification)을 결합한 이중 언어 미세 조정 (Bilingual Fine-tuning)을 통한

요약

이 연구는 저자원 언어의 자동 음성 인식(ASR) 성능을 높이기 위해 언어 식별(Language Identification)을 결합한 이중 언어 미세 조정을 제안합니다. 9개의 다양한 언어 쌍을 통해 실험한 결과, 언어 식별 정확도에 따라 추론 시 토큰 제공 여부가 ASR 성능에 미치는 영향을 분석했습니다.

핵심 포인트

• 언어 식별 토큰을 활용한 이중 언어 미세 조정 방법론 제안
• 9개의 다양한 언어 쌍을 통한 실험 및 검증 수행
• 언어 식별 정확도가 낮을 경우 추론 시 토큰 제공이 성능 향상에 도움
• 언어 식별과 전사(Transcription)의 공동 예측 메커니즘 탐구