신디어용 코퍼스 기반 SentencePiece Unigram 토크나이저: 14개 기존 토크나이저 대비 설계 및 벤치마킹
요약
본 연구는 저자원 언어인 신디어(Sindhi)에 특화된 SentencePiece Unigram 토크나이저를 개발하고, 14개의 기존 토크나이저와 비교했습니다. 네 가지 평가 셋에서 적합도, 단일 토큰 유지율 등 다양한 지표로 성능을 측정했으며, 새로운 토크나이저는 높은 단일 토큰 유지율과 문자 손실 없음 등의 우수한 결과를 보였습니다.
핵심 포인트
- 신디어어에 최적화된 SentencePiece Unigram 토크나이저를 설계 및 학습시켰습니다.
- 4가지 평가 셋에서 적합도, 단일 토큰 유지율 등 다각적인 성능 비교가 이루어졌습니다.
- 64k 환경에서 단어의 88.6%를 단일 토큰으로 유지하는 높은 효율을 보였습니다.
- 왕복 문자 체크 결과, 기존 방식 대비 문자 손실이 없음을 입증했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기