타지크어 POS 태그링 벤치마킹: 타지르스패럴 코퍼스 기반 신경망 구조 비교 연구

요약

본 연구는 타지크어의 자동 명사부류(POS) 태그링에 대한 최초의 벤치마크를 제시하며, 고전 신경망 구조와 현대 다국어 트랜스포머 모델을 비교 분석했습니다. 약 44,000개의 단어로 구성된 TajPersParallel 코퍼스를 사용하여 실험을 진행했으나, 문맥 정보가 부족한 고립 단어 단위 분류라는 어려운 환경적 제약이 있었습니다. 테스트 결과, mBERT와 LoRA를 결합한 모델이 가장 우수한 성능을 보였으며, 모든 모델이 형태론적 모호성 해결에 어려움을 겪는 것으로 나타났습니다.

핵심 포인트

• 타지크어 POS 태그링 분야의 최초 벤치마크를 구축하여 학계의 공백을 메웠다.
• 고전 BiLSTM-CRF와 LoRA 기반 다국어 트랜스포머(XLM-R, mBERT 등) 구조 간의 성능 비교를 수행했다.
• 실험은 문맥 정보가 부족한 고립 단어 단위 분류 환경에서 진행되어 모델에 큰 어려움을 주었다.
• 테스트 결과, mBERT + LoRA 조합이 가장 높은 성능(Micro F1 = 0.11, Macro F1 = 0.62)을 기록했다.