다국어 사전 학습 언어 모델(PLMs)은 라틴 문자 중심의 토크나이저 훈련으로 인해 발생하는 높은 어휘 외(out-of-vocabulary, OOV) 비율과 과도한 서브워드 분해로 인해 저자원, 비라틴 문자 스크립트 언어에서 성능 저하를 보입니다. 우리는 두 개의 가장 자원이 풍부한 게에즈 문자 언어인 암하라어와 티그리냐어를 목표로 하는 XLM-R의 어휘 확장 변형 모델인 VEXMLM을 소개하고, 추가적으로 17개 저자원 아프리카 언어(총 19개)에서도 평가했습니다. 우리는 선별된 암하라어 및 티그리냐어 단일 언어 코퍼스에 대해 언어별 SentencePiece 토크나이저를 훈련시키고, 이 토크나이저에서 파생된 30,000개의 게에즈 문자 서브워드를 XLM-R의 어휘에 확장한 다음, 이들 서브워드의 구성 요소 서브워드들의 임베딩을 평균화하여 초기화했습니다. VEXMLM은 두 단계로 훈련됩니다: (1) 선별된 코퍼스에서 확장된 어휘에 대한 지속적인 마스크 언어 모델링(continued masked language modeling), 그리고 (2) 질문 응답(QA), 개체명 인식(NER), 감성 분석(SA)에 대한 지도 미세 조정(supervised fine-tuning)입니다. 암하라어/티그리냐어 QA에서 VEXMLM은 XLM-R의 66.0 EM/78.0 F1 대비 87.0 EM /90.0 F1을 달성했으며, Glot500의 74.0 EM/ 78.0 F1보다 우수했습니다. SA에서 VEXMLM은 80.0%의 정확도를 기록하여 XLM-R의 77.0%와 Glot500의 46.0%를 능가했습니다. NER에서는 OOV 토큰 개체명 정확도를 81.4%에서 94.3%로 향상시켰으며, 이는 OOV 분석이 가능했던 19개 평가 언어 중 11개에 대해 평균을 낸 수치입니다. 우리의 기여는 다음과 같습니다: (i) 게에즈 문자에 맞춘 어휘 확장 및 임베딩 초기화 절차; (ii) 이 절차를 통해 얻은 어휘와 지속적 사전 학습의 이점이 암하라어/티그리냐어에서 17개의 유형론적으로 관련된 미보강 아프리카 언어로 전이되는 두 단계 훈련 전략; 그리고 (iii) 모든 19개 언어에 걸쳐 본질적인 토크나이징 지표(어휘 커버리지, 다산도, OOV 비율)와 외재적 작업 성능을 포괄하는 평가입니다.