다국어 모델은 실제로 개선되고 있는가? 진정한 교차 언어 전이(Cross-Lingual Transfer)의 격리

교차 언어 전이(Cross-lingual transfer)는 모델이 잘 표현된 소스 언어(source languages)의 능력을 충분히 표현되지 않은 타겟 언어(target languages)로 일반화하는 능력입니다. 기존의 모델 전이 강도 측정 방식은 전이의 개선을 소스 언어의 일반적인 정확도 개선과 혼동합니다. 우리는 전이 강도를 신뢰성 있게 포착하는 대안적 지표인 HAT(Hardness Adjusted Transfer) 점수를 제안하며, 이를 사용하여 전이 강도에 영향을 미치는 요인들에 대한 여러 통찰을 도출합니다. 20개의 다양한 언어 모델과 3개의 대중적인 주류 다국어 벤치마크(multilingual benchmarks)를 통한 분석 결과, 우리는 다음과 같이 주장합니다: 1) 소규모 모델에서의 전이는 망가지지 않았으며, 2) 모델 크기에 따른 교차 언어 전이의 발전 속도는 예상보다 느리며, 3) 시간이 지남에 따라 명확한 진전이 있었다는 점입니다.