아랍어는 전 세계적으로 광범위하게 사용되는 언어이지만, 단일한 형태가 아닙니다. 현대 표준 아랍어(Modern Standard Arabic, MSA) 외에도 지역별 방언들이 어휘, 문법, 음운론 등에서 큰 차이를 보이며 일상생활의 주요 소통 매체로 기능합니다.

기존의 대부분의 아랍어 LLM 벤치마크는 이러한 지역적 다양성을 무시하고 MSA에만 초점을 맞추는 경향이 있었습니다. 이는 모델들이 공식적인 뉴스 기사(newswire text)에서는 높은 성능을 보일지라도, 현지 방언으로 된 인사말, 관용구, 짧은 일화 등 실제 대화 상황에서는 이해하지 못할 수 있다는 문제를 야기합니다.

이에 대응하여 연구팀은 에미리트 지역에 특화된 벤치마크인 'Alyah الياه'를 개발했습니다. (Alyah는 에미리트어로 북극성을 의미합니다.) 이 벤치마크의 목표는 아랍어 LLM이 에미리트 방언의 언어적, 문화적, 화용론적 측면을 얼마나 잘 포착하는지 평가하는 것입니다.

Alyah의 특징 및 구성:

1. 원어민 기반 수집 (Manual Curation): Alyah는 총 1,173개의 샘플로 구성되어 있으며, 이 모든 데이터는 에미리트 원어민들로부터 직접 수동으로 수집되었습니다. 이는 문서화된 자료만으로는 포착하기 어려운 표현이나 용법을 담아내기 위함입니다.
2. 평가 초점: 단순한 어휘 지식 테스트를 넘어, 문화적으로 내재된 의미(culturally embedded meaning), 화용론적 사용(pragmatic usage), 그리고 방언 특유의 뉘앙스 해석 능력을 측정합니다.
3. 구조화된 질문 형식: 각 샘플은 네 개의 선택지 중 하나가 정답인 객관식 문제로 구성되어 있습니다. LLM을 활용해 오답(distractor) 선택지를 생성한 후, 그 개연성과 의미적 근접성을 검토하여 신뢰도를 높였습니다.
4. 다차원적 카테고리: Alyah는 일상 표현부터 문화적으로 민감하거나 비유적인 언어까지 광범위하게 다룹니다. 주요 카테고리와 샘플 분포는 다음과 같습니다:
   • 인사말 및 일상 표현 (Greetings & Daily Expressions): 61개 (쉬움)
   • 종교 및 사회적 민감성 (Religious & Social Sensitivity): 78개 (중간)
   • 이미지 및 비유적 의미 (Imagery & Figurative Meaning): 121개 (중간)
   • 에티켓 및 가치관 (Etiquette & Values): 173개 (중간)
   • 시와 창작 표현 (Poetry & Creative Expression): 32개 (어려움)
   • 역사 및 유산 지식 (Historical & Heritage Knowledge): 89개 (어려움)
   • 언어 및 방언 (Language & Dialect): 619개 (어려움)

평가 방법론:

연구팀은 아랍어 네이티브 LLM(Jais, Allam), 다국어 모델(Qwen, LLaMA), 그리고 지역 특화 모델(Fanar, AceGPT) 등 총 53개의 다양한 아키텍처와 학습 패러다임을 가진 모델들을 평가했습니다. 평가는 단순히 정답 여부뿐만 아니라, 에미리트 사용 관점에서 의미론적 정확성과 적절성(appropriateness)을 기준으로 이루어졌습니다.

이러한 다각적인 접근 방식 덕분에 Alyah는 LLM의 표면적인 대화 유창성(surface-level conversational fluency)과 깊은 문화적, 의미론적 이해도를 동시에 측정할 수 있는 강력한 도구로 자리매김했습니다. 이는 아랍어 LLM 개발자들이 지역 방언에 대한 모델 성능을 객관적으로 진단하는 데 중요한 참고 자료가 될 것입니다.