게에즈 문자 기반 아프리카 언어 어휘 확장: 암하라어와 티그리냐어 비교 연구

요약

본 논문은 라틴 문자 중심의 토크나이저가 저자원 게에즈 문자 언어에서 겪는 성능 저하 문제를 해결하기 위해 VEXMLM이라는 어휘 확장 변형 모델을 제안합니다. 이 모델은 암하라어와 티그리냐어 단일 언어 코퍼스를 활용하여 게에즈 문자 서브워드를 XLM-R의 어휘에 추가하고, 이를 통해 QA, NER 등 다양한 작업에서 기존 모델 대비 높은 성능 향상을 입증했습니다.

핵심 포인트

• 게에즈 문자에 특화된 VEXMLM을 제안하여 저자원 언어 문제를 해결함.
• 암하라어/티그리냐어 QA 및 SA에서 XLM-R보다 월등히 높은 성능을 달성함.
• 두 단계 훈련 전략과 어휘 확장 절차를 통해 19개 아프리카 언어로의 전이 학습 효과를 입증함.