모델에 일관된 다국어 성능을 부여하는 것은 사전 학습 (Pre-training) 데이터를 혼합하거나, 언어별 모델 병합 (Model merging)과 같은 사후 학습 (Post-training) 접근 방식을 통해 달성될 수 있습니다. 본 연구에서는 단일 언어로 사전 학습된 모델들에 병합 (Merging) 기술을 적용할 수 있는지 테스트합니다. 우리는 혼합 (Mixed), 병합 (Merged), 그리고 단일 언어 사전 학습 (Monolingual pre-training) 설정의 효능에 대해 통제된 연구를 수행합니다. 연구 결과, 단일 언어 사전 학습은 해당 언어에서의 강력한 성능을 보여주는 반면, 단일 언어 모델들의 어떤 조합을 병합하더라도 간섭 (Interference)으로 인해 성능 붕괴 (Performance collapse)가 발생한다는 것을 발견했습니다. 우리의 분석은 표현 유사성 (Representational similarity)이 모델 병합의 전제 조건임을 시사합니다. 따라서 우리는 미세 조정 (Fine-tuning) 단계에서의 병합이 가진 유연성이 언어별 사전 학습 (Language-specific pre-training) 단계로 당연하게 확장되지는 않는다는 결론을 내립니다.