사전 훈련 시 고정된 토크나이저는 사전 훈련 코퍼스에 비례하여 어휘(vocabulary)를 할당하며, 이는 당시의 배포 우선순위를 반영합니다. 이러한 우선순위가 변화할 때, 나중에 추가되는 언어들은 단어당 훨씬 더 많은 토큰으로 분리되어 사용자의 지연 시간(latency), 컴퓨팅 자원, 에너지 소비 증가를 초래할 수 있습니다. 클라우드 모델은 임베딩 및 LM-head 행렬이 전체 매개변수(parameters)의 작은 부분을 차지하기 때문에 광범위한 어휘를 감당할 수 있습니다. 반면, 소형 모델에서는 이러한 행렬들이 토큰당 디코드 대역폭(decode bandwidth)에서 상당한 비중을 차지하므로, 온디바이스(on-device) 모델은 작은 어휘를 탑재하고 고정된 언어 세트 외부에서의 분절화(fragmentation)를 감수합니다. 본 논문에서는 모델 제작자가 토크나이저 설계를 제어할 때, 사전 훈련된 모델의 토크나이저를 업그레이드하는 인플레이스 레시피인 토크나이저 확장을 제시합니다. 우리는 기존 토크나이저의 BPE 병합(merges)을 다국어 코퍼스에 계속 적용하여, 대부분의 소스 토큰은 단일 토큰으로 변경 없이 유지되며, 모든 새로운 토큰은 소스 토큰들로 정확하게 분해됩니다. 우리는 유지된 임베딩 행들을 변경 없이 복사하고, 새로운 행들은 해당 소스 서브토큰 임베딩들의 평균값으로 초기화합니다. 임베딩 전용 훈련(embedding-only training) 후 전체 모델의 지속적인 사전 훈련(full-model continued pre-training)이라는 두 단계 적응을 통해 소스 체크포인트 수준의 품질을 회복합니다. 우리는 이 레시피를 8B 매개변수의 Mixture-of-Experts 모델인 LFM2-8B-A1B의 지속적으로 사전 훈련된 체크포인트에 적용하여, 토크나이저가 128K인 LFM2.5-8B-A1B를 생성하는 데 도움을 주었습니다. 확장된 토크나이저는 힌디어와 베트남어를 소스보다 각각 약 $2.4 imes$ 및 $2.6 imes$ 적은 토큰으로 인코딩하며 (태국어의 경우 최대 $4.0 imes$), 이러한 감소율을 더 큰 어휘의 측정된 토큰당 비용과 결합하여, 참조 장치 전반에 걸쳐 이 언어들에 대해 문자당 $2.2$배~$3.7$배의 디코드 속도 향상을 추정했습니다. 우리는 모델 가중치와 확장된 토크나이저를 공개하고, 이 레시피를 형성하는 데 영향을 준 부정적인 발견 사항들도 보고합니다.