토크나이저 확장: LFM2.5-8B-A1B 모델의 토크나이저 인플레이스 업그레이드

요약

LFM2.5-8B-A1B 모델의 토크나이저를 처음부터 다시 학습하지 않고 인플레이스 방식으로 업그레이드하는 기술을 소개합니다. 어휘 사전 크기를 65K에서 128K로 확장하여 기존의 과도한 언어 분할 문제를 해결했습니다.

핵심 포인트

• 사전 학습된 모델의 토크나이저를 인플레이스 방식으로 업그레이드
• 어휘 사전(vocabulary)을 65K에서 128K로 두 배 확장
• 기존 토크나이저의 과도한 언어 분할 문제 해결