대규모 언어 모델(LLMs)을 새로운 언어로 확장하는 것은 광범위한 지속적 사전 학습(Continued Pre-Training, CPT)과 데이터 집약적인 정렬(Alignment)을 요구하는 비용이 많이 드는 작업입니다. 최근의 데이터 프리 병합(data-free merging) 기술들은 다국어 CPT가 강화된 모델과 해당 모델의 지시어(Instruct) 대응 모델을 융합함으로써 정렬 과정을 우회하려고 시도하지만, 이들은 중대한 트레이드오프(trade-off) 문제에 직면해 있습니다. 즉, 기존 능력을 보존하기 위해 파라미터 충돌(parameter conflicts)을 완화하면 필연적으로 새로운 언어 습득 능력이 희석되며, 그 반대의 경우도 마찬가지입니다. 이 충돌을 해결하기 위해, 본 논문에서는 밀집 모델(dense model)을 Mixture-of-Experts (MoE) 아키텍처로 업사이클링(upcycle)하여 서로 다른 언어에 서로 다른 전문가(experts)를 할당하는 ext{method}를 소개합니다. 그 후, MoE로 확장된 파라미터 델타($\Delta_{\text{post}}$)를 CPT가 강화된 베이스 모델에 이식(grafting)함으로써 복잡한 정렬 단계를 우회하여 정렬 능력을 전이합니다. 실험을 통해 ext{method}가 유사한 FLOPs 또는 파라미터 수를 가진 베이스라인 모델들에 비해 우수함을 입증하였습니다. 이 방식은 기존 능력을 효과적으로 보존하는 동시에 확장된 언어에서의 성능을 향상시킵니다. 나아가 본 연구의 접근 방식이 서로 다른 모델과 사후 학습(Post-training) 델타에 걸쳐 높은 적용 가능성을 가짐을 보여줍니다.