TajikNLP: 타지크어 (키릴 문자) 의 포괄적 텍스트 처리를 위한 오픈소스 도구킷

키릴 문자로 쓰인 타지크어는 공개된 자연어 처리 (NLP) 도구킷 측면에서 자원이 극히 부족하여, 언어학적 연구와 실제 개발을 모두 저해하고 있습니다. 이 논문은 타지크어 텍스트의 원본 키릴 문자 표기를 보존하면서 처리하는 최초의 포괄적인 파이프라인을 제공하는 오픈소스 Python 라이브러리인 TajikNLP 를 소개합니다. 이 라이브러리는 세정 (cleaning), 정규화 (normalization), 토큰화 (including subword BPE), 형태소 분할, 품사 태깅, 줄임말 생성 (stemming), 원형어 생성 (lemmatization), 문장 분할을 위한 구성요소의 순차적 적용을 가능하게 하는 통합된 Doc object 를 중심으로 모듈러 아키텍처를 구현합니다. 타지크어의 접미사 명사와 동사 변형을 효과적으로 처리하기 위해, 새로운 통합 형태소 엔진이 제공되며 이는 제어 모드와 심층 분석 모드를 통해 분석의 깊이를 크게 향상시킵니다. 또한, 감성 분석기 (lexicon-based sentiment analyser) 와 Hugging Face Hub 에서 직접 로드되는 사전 학습된 Word2Vec/FastText 임베딩을 포함합니다. 재현성을 보장하고 향후 연구를 용이하게 하기 위해, 허용 조건 하의 라이선스로 공개된 4 개의 언어학 데이터셋 -- 품사 태깅 코퍼스 (52.5k entries), 감성 어휘 (sentiment lexicon) (3.5k entries), 지명 gazetteer (toponym gazetteer) (5.6k entries), 개인 이름 데이터셋 (personal names dataset) (3.8k entries) -- 이 함께 제공됩니다. 616 개의 자동화된 테스트를 통해 93% 의 소스 코드 커버리지를 달성함으로써 라이브러리의 신뢰성은 검증되었습니다. 따라서 TajikNLP 는 저자원의 키릴 문자 환경에서 학술 및 산업 응용을 위한 진입 장벽을 낮추는 기초적인 기술 인프라를 구축합니다.