우리는 다국어 및 다문화 환경에서 LLM(대규모 언어 모델) 및 NLP(자연어 처리) 시스템의 적응성을 평가하는 공유 작업을 소개합니다. 작업 데이터는 저 (Myung et al. 2024) 가 구축한 BLEnD 벤치마크의 확장 버전으로, 30 개 이상의 언어 - 문화 쌍을 포함하며, 주로 여러 대륙에서 사용되는 소수 언어를 대표합니다. 이 작업은 엄격히 평가용으로 설계되었으므로, 참가자들은 데이터를 학습, 미세 조정 (fine-tuning), 퓨샷 학습 (few-shot learning) 또는 다른 형태의 모델 수정에 사용할 수 없었습니다. 우리의 작업에는 두 트랙이 포함됩니다: (a) 단답형 질문 (Short-Answer Questions, SAQ) 과 (b) 다중 선택형 질문 (Multiple-Choice Questions, MCQ). 참가자들은 라벨을 예측해야 하며, 벤치마크가 평가용으로만 사용되도록 조건부로 NLP 시스템과 다양한 모델링 전략을 채택할 수 있었습니다. 이 작업은 140 개 이상의 등록 참가자를 유치했으며, 62 개의 팀에서 최종 제출물을 받았습니다. 또한 19 개의 시스템 설명 논문도 제출되었습니다. 우리는 결과를 보고하며 가장 성능이 좋은 시스템과 가장 일반적으로 채택된 접근법에 대한 분석을 제시합니다. 또한 평가, 미정렬 (misalignment), 소수 언어 및 대표성이 부족한 문화에 대한 모델 행동에 관한 방법론적 관점과 관련된 열린 질문과 과제에 대한 공유 통찰을 논의합니다.