위키 덤프를 훈련 코퍼스로 변환: 남슬라브어 사례

요약

본 기술 기사는 7개 남슬라브어의 원시 위키미디어 덤프를 고품질 훈련 코퍼스로 변환하는 방법론을 제시합니다. 이 과정은 첫째, 복잡한 위키 마크업에서 자연어 텍스트를 추출하고 정제하며, 둘째, n-gram 기반 필터링 전략을 사용하여 반복적이거나 저품질의 콘텐츠(예: 구조화된 지식 베이스 기사)를 제거하는 두 단계로 진행됩니다. 이를 통해 언어 모델 훈련 및 남슬라브어 비교 연구에 적합한 신뢰성 높고 정보 밀도가 높은 코퍼스를 구축합니다.

핵심 포인트

• 원시 위키미디어 덤프에서 고품질 텍스트를 추출하기 위해 복잡한 전처리 과정이 필요함.
• 추출된 데이터셋의 품질을 향상시키기 위해 n-gram 기반 필터링 전략을 사용하여 중복성 및 저품질 기사를 제거함.
• 제시된 방법론은 남슬라브어에 국한되지 않고 다른 언어와 어족에도 일반화하여 적용 가능함 (language-agnostic).
• 최종 목표는 단순 텍스트가 아닌, 실제 언어 사용과 문화적 맥락을 반영하는 풍부하고 신뢰할 수 있는 코퍼스를 구축하는 것임.