TokAlign++: 더 나은 토큰 정렬 (Token Alignment)을 통한 어휘 적응 (Vocabulary Adaptation)의 발전

요약

TokAlign++는 LLMs의 성능 저하를 야기하는 비효율적인 토큰화 및 어휘 불일치 문제를 해결하기 위해 제안된 방법입니다. 이 방법은 더 나은 '토큰 정렬 어휘집(token alignment lexicon)'을 학습하여 다국어 텍스트 압축률을 높이고, 기존 모델의 다국어 능력을 효과적으로 보존합니다. 실험 결과에 따르면, TokAlign++는 적은 단계의 미세 조정을 통해 베이스 모델의 성능을 크게 개선할 수 있음을 입증했습니다.

핵심 포인트

• TokAlign++는 토큰화 과정에서 발생하는 어휘 불일치 문제를 해결하는 데 중점을 둡니다.
• 이 방법은 소스 및 타겟 언어 간의 이중 언어 토큰 정렬 어휘집을 학습하여 단일 언어 표현으로부터 성능을 향상시킵니다.
• TokAlign++를 적용하면 다국어 텍스트 압축률을 높이고 기존 모델의 다국어 능력을 효과적으로 보존할 수 있습니다.
• 적은 양의 데이터(예: 1k 단계)와 적은 토큰만으로도 베이스 모델의 성능 개선이 가능합니다.