TajikNLP: 타지크어 (키릴 문자) 의 포괄적 텍스트 처리를 위한 오픈소스 도구킷

요약

본 기사는 자원이 부족한 타지크어(키릴 문자) 텍스트 처리를 위해 개발된 오픈소스 NLP 도구킷 'TajikNLP'를 소개합니다. TajikNLP는 세정, 정규화, 토큰화, 형태소 분석, 품사 태깅 등 다양한 핵심 기능을 통합적이고 모듈식으로 제공하는 파이프라인을 구축했습니다. 특히 타지크어의 복잡한 문법 구조를 처리하기 위한 새로운 형태소 엔진과 사전 학습된 임베딩, 그리고 대규모 데이터셋까지 함께 제공하여 학술 및 산업 응용에 필요한 기술 인프라를 완성합니다.

핵심 포인트

• 타지크어(키릴 문자) 텍스트 처리를 위한 포괄적이고 통합적인 오픈소스 NLP 파이프라인을 제공한다.
• 세정, 정규화, 토큰화(BPE), 형태소 분할, 품사 태깅 등 핵심 기능을 모듈식 아키텍처로 구현했다.
• 타지크어의 복잡한 문법적 변형 처리를 위해 심층 분석이 가능한 새로운 통합 형태소 엔진을 포함한다.
• 품사 태깅 코퍼스, 감성 어휘, 지명 데이터셋 등 4개의 대규모 언어학 데이터셋과 높은 코드 커버리지를 제공하여 신뢰성을 확보했다.