다국어 LLM을 향한 데이터 효율적인 경로: Upcycled MoE에 Post-training PARAM$Δ$ 통합을 통한 언어 확장

요약

본 논문은 대규모 언어 모델(LLM)을 새로운 언어로 확장할 때 발생하는 비용과 파라미터 충돌 문제를 해결하기 위한 새로운 방법론을 제안합니다. 밀집 모델을 MoE 아키텍처로 업사이클링하여 언어별 전문가를 할당하고, 사후 학습된 파라미터 델타를 이식함으로써 복잡한 정렬 과정 없이도 언어 확장과 기존 능력 보존을 동시에 달성합니다.

핵심 포인트

• 밀집 모델을 MoE 구조로 업사이클링하여 언어별로 특화된 전문가(experts)를 할당하는 방식 제안
• 사후 학습(Post-training) 파라미터 델타를 이식(grafting)하여 정렬 단계를 우회하고 정렬 능력을 전이
• 기존 언어 능력 보존과 새로운 언어 습득 능력 사이의 트레이드오프 문제 해결
• 유사한 연산량(FLOPs) 및 파라미터 규모의 베이스라인 모델 대비 우수한 성능 입증
• 서로 다른 모델 및 사후 학습 델타에 적용 가능한 높은 범용성 확인