잠재 코어 토크나이저 (Latent Core Tokenizer): 압축적이면서도 의미 있게

요약

본 논문은 기존 토크나이저의 한계를 극복하기 위해 Latent Core Tokenizer (LCT)라는 새로운 접근 방식을 제안합니다. LCT는 최소 설명 길이, 엔트로피 기반 신호 및 형태통사론적 제약 조건을 활용하여 언어 독립적인 공유 어휘를 구축합니다. 테스트 결과, LCT는 여러 다국어 벤치마크에서 기존 방식 대비 높은 성능 향상을 입증했습니다.

핵심 포인트

• LCT는 구조적 발견과 어휘 구축을 분리하는 언어 독립적 접근법입니다.
• 최소 설명 길이와 형태통사론적 제약 조건을 활용하여 공유 어휘를 만듭니다.
• 다국어 벤치마크에서 BPE, Unigram 등 기존 방식보다 높은 성능 향상을 보였습니다.