사전 훈련된 LLM을 위한 인플레이스 토크나이저 확장

요약

본 논문은 사전 훈련된 LLM의 토크나이저를 업그레이드하는 '인플레이스(in-place)' 확장 레시피를 제안합니다. 기존 BPE 병합을 다국어 코퍼스에 적용하여 어휘 크기를 늘리면서도, 모델 가중치와 임베딩 행렬을 효율적으로 업데이트하는 방법을 제시했습니다. 이를 통해 온디바이스 환경에서도 새로운 언어를 효과적으로 지원하며 디코드 속도를 크게 향상시킬 수 있습니다.

핵심 포인트

• 기존 LLM의 토크나이저를 업그레이드하는 인플레이스 레시피를 제안함.
• BPE 병합을 다국어 코퍼스에 적용하여 어휘 크기를 확장할 수 있음.
• 임베딩 전용 훈련 후 전체 모델 지속 사전 훈련으로 품질을 회복함.
• 확장된 토크나이저가 디코드 속도를 크게 향상시켜 효율성을 높임.