영어가 최선의 교사가 아닐 때: 교차 언어 인컨텍스트 학습(Cross-Lingual In-Context Learning)에서의 소스 언어 효과

다국어 NLP(Natural Language Processing)에서의 교차 언어 전이(Cross-lingual transfer)는 지도 미세 조정(Supervised fine-tuning) 맥락에서 널리 탐구되어 왔으며, 이 과정에서는 데이터 가용성과 언어적 유사성 같은 요소들이 전이 품질을 크게 결정합니다. 분야가 퓨샷 인컨텍스트 학습(Few-shot In-Context Learning, ICL)으로 전환됨에 따라, 미세 조정(Fine-tuning)에서 얻은 통찰이 변함없이 그대로 적용될 것이라고 흔히 가정됩니다. 그러나 이러한 가정은 엄격하게 평가된 적이 없으며, 교차 언어 ICL을 위한 소스 언어를 어떻게 선택해야 하는지에 대한 의문을 남겨두고 있습니다. 우리는 7개의 태스크, 6개의 모델, 그리고 유형론적으로 다양한 언어 세트에 걸쳐 ICL에서의 교차 언어 전이에 대한 광범위한 실증적 연구를 수행합니다. 나아가 우리는 교차 언어 ICL의 생성 태스크(Generative tasks)에서 주요 장애물인 언어 혼동(Language confusion)을 분석합니다. 우리의 연구 결과는 기존의 미세 조정(Fine-tuning) 기반의 기대치가 ICL 체제에서는 일관되게 적용되지 않음을 보여주며, 소스 언어를 효과적으로 선택하기 위한 대안적인 휴리스틱(Heuristics)을 제시합니다.