다국어 및 다문화 능력 평가를 위한 종합 벤치마크 'GaoYao' 공개

요약

본 논문은 대규모 언어 모델(LLMs)의 글로벌 활용도를 높이기 위해 다국어 및 다문화 능력을 종합적으로 평가하는 새로운 벤치마크 'GaoYao'를 제안합니다. 기존 벤치마크가 문화적 미묘함이나 언어 커버리지가 부족했던 한계를 극복하고자, GaoYao는 총 182.3k개의 샘플과 26개 언어, 51개 국가/지역을 포괄하는 통합 프레임워크를 구축했습니다. 특히 전문가의 도움으로 주관적 평가 항목을 19개 언어로 현지화하고 34개 문화권에 대한 교차문화 테스트 세트를 합성하여 기존 대비 최대 111% 향상된 커버리지를 제공합니다. 이를

핵심 포인트

• GaoYao는 총 182.3k개의 샘플, 26개 언어, 51개 국가/지역을 아우르는 포괄적인 평가 프레임워크를 제시했습니다.
• 평가 과제를 일반 다국어(General Multilingual), 교차문화(Cross-cultural), 단일 문화(Monocultural)의 세 가지 문화적 계층으로 분류하여 체계성을 높였습니다.
• 주관적 벤치마크 항목을 전문가를 통해 19개 언어로 현지화하고, 34개 문화권에 대한 테스트 세트를 합성하여 커버리지를 대폭 확장했습니다 (기존 대비 최대 111% 증가).
• 20개 이상의 주요 LLM 및 소형 모델에 대한 심층 진단 분석을 수행하여, 지리적 성능 격차와 과제별 명확한 약점을 식별할 수 있는 신뢰도 높은 지도를 제공합니다.