Transformers v5: 토크나이저 설계 분리 및 모듈화 개선

요약

본 글은 Hugging Face의 `transformers` 라이브러리가 버전 5에서 토크나이저(Tokenizer) 구조를 근본적으로 개편한 내용을 다룹니다. 이전에는 토크나이저 설계와 학습된 어휘집(vocabulary)이 결합되어 사용하기 어려웠으나, v5부터는 이 둘을 분리하여 사용자가 토크나이저 아키텍처를 직접 검사하고 커스터마이징하며 처음부터 훈련시킬 수 있게 되었습니다. 이는 마치 PyTorch가 신경망 구조와 가중치를 분리하는 방식과 유사합니다. 또한, `tokenizers` 라이브러리를 통해 Rust 기반의 빠르고 효율

핵심 포인트

• v5는 토크나이저 아키텍처를 학습된 어휘집(vocabulary)으로부터 명확히 분리하여 모듈성을 극대화했습니다.
• 토큰화 과정은 Normalizer, Pre-tokenizer, Model (BPE/Unigram 등), Post-processor의 독립적인 단계로 구성되어 이해하기 쉽습니다.
• 핵심 토크나이저 엔진인 `tokenizers` 라이브러리는 Rust 기반으로 구현되어 빠르고 모델에 구애받지 않는 범용성을 제공합니다.
• 사용자는 이제 `AutoTokenizer`를 통해 클래스를 자동 선택할 뿐만 아니라, 내부의 각 구성 요소를 직접 접근하고 수정하여 커스텀 토크나이저를 구축할 수 있습니다.