학습 태스크, 언어 및 벤치마크 데이터셋에 따른 다국어 텍스트 임베딩 순위의 강건성에 대하여

대규모 다국어 텍스트 임베딩 모델 (Multilingual text embedding models)은 연구와 산업 모두에서 중요한 역할을 수행하지만, 언어별 멀티 태스크 (Multi-task) 환경에서의 동작 방식은 여전히 충분히 이해되지 않은 상태입니다. MTEB와 같은 벤치마킹 플랫폼이 250개 이상의 언어에 걸친 결과를 보고하고 있음에도 불구하고, 모델의 우수성에 대한 결론은 종종 데이터셋 구성의 암묵적인 선택과 성능 집계 방식 (Performance aggregation methods)에 따라 달라집니다. 이러한 격차를 해소하기 위해, 본 연구에서는 다양한 다기준 의사결정 순위 산정 방식 (Multi-criteria decision-making ranking schemes)을 적용하여 MTEB 내 다국어 모델 성능의 강건성 (Robustness)에 대한 메타 연구를 제시하며, 두 가지 강건성 지표를 도입합니다: 데이터셋 구성 강건성 (Dataset-composition robustness, 데이터셋 구성 변화에 따른 순위의 민감도) 및 순위 산정 방식 강건성 (Ranking-scheme robustness, 집계 방식 변화에 따른 민감도)입니다. 이러한 지표들은 서로 다른 평가 설계 하에서 벤치마킹 결론이 안정적으로 유지되는지에 대한 체계적인 민감도 분석 (Sensitivity analysis)을 가능하게 합니다. 우리는 5개 언어 (English, French, German, Hindi, Spanish)와 9개 태스크 (예: classification, clustering, retrieval)에 대해 심층 분석을 수행하였으며, 약 230개의 추가 언어에 대한 결과를 공개합니다. 태스크별 분석 결과, 대규모 LLM 기반 모델들은 종종 강건한 최상위 성능을 보이지만 (예: retrieval 태스크에서는) 항상 균일하게 나타나지는 않는 반면, 태스크 불가지론적 (Task-agnostic) 결과에 따르면 오직 소수의 모델만이 태스크, 순위 산정 방식 및 데이터 서브샘플 (Data subsamples) 전반에 걸쳐 일관되게 강력한 성능을 유지함을 보여줍니다.