혼합된 자연어 및 구조화된 기호 코퍼스를 위한 적응형 빈도 임계값 Byte Pair Encoding

요약

기존의 BPE는 공백 기반으로 구조화된 언어(LaTeX 등) 처리에 한계가 있습니다. 본 논문은 적응형 빈도 임계값 Byte Pair Encoding (AdaBPE)을 제안합니다. AdaBPE는 토큰 길이와 유형에 따라 최소 빈도를 조정하여, 일반 언어 패턴과 도메인 특화 표기법 모두에서 효율적인 인코딩이 가능함을 입증했습니다.

핵심 포인트

• 표준 BPE의 공백 기반 한계점을 극복하는 새로운 토큰화 방법론 제시
• AdaBPE는 적응형 빈도 임계값을 활용하여 패턴 마이닝 수행
• 일반 언어와 도메인 특화 표기법을 구분하여 어휘 용량 효율성 증대
• LaTeX 등 구조화된 코퍼스에서 성능 향상을 입증함