SomaliWeb v1: 일치하는 Tokenizer 및 공개 언어 식별(Language-Identification) 벤치마크를 포함한 품질

요약

SomaliWeb v1은 소말리어 전용 토크나이저와 언어 식별 벤치마크를 포함한 최초의 고품질 사전 학습 코퍼스입니다. 기존 다국어 데이터셋의 중복 문제와 글자 깨짐(Mojibake) 결함을 분석하고, GPT-4보다 효율적인 BPE-16K 토크나이저를 제안합니다.

핵심 포인트

• HPLT v2, CC100, Somali Wikipedia를 기반으로 한 약 303M 토큰 규모의 정제된 코퍼스 구축
• 기존 데이터셋에서 발견된 높은 중복률(17.3%) 및 글자 깨짐(56.1%) 문제 지적
• GPT-4의 cl100k_base 대비 토큰 생성량을 40.2% 절감하는 BPE-16K 토크나이저 공개
• 상용 언어 식별기 성능 비교를 위한 최초의 Somali 언어 식별 벤치마크 제공