아랍어 자연어 처리(NLP)를 위한 소형 언어 모델(SLM) 평가

본 논문은 아랍어 자연어 처리 (NLP) 작업에 대한 12개의 소형 언어 모델 (Small Language Models, SLMs)의 성능을 평가합니다. 본 연구는 이해 중심 작업과 생성 중심 작업을 모두 아우르는 8개 도메인 및 10개 언어 기술에 걸쳐 분산된 240개의 아랍어 테스트 항목 벤치마크를 도입합니다. 모든 모델은 표준화된 아랍어 전용 프롬프트 템플릿을 사용하여 통제된 제로샷 (zero-shot) 설정 하에서 평가되었습니다. 모델의 응답은 GPT-4.1 Mini, Claude Haiku 4.5, DeepSeek-Chat을 포함하는 멀티 모델 LLM-as-a-judge 프레임워크를 통해 평가되었으며, 점수는 여러 판정관(judges)에 걸쳐 집계되어 작업, 기술 및 모델 제품군별로 분석되었습니다. 결과에 따르면 Gemma 3 (12B)가 가장 높은 종합 점수 (4.548/5)를 기록했으며, Aya와 C4AI Command Arabic이 그 뒤를 이었습니다. 관찰된 결과는 모델 크기만으로는 아랍어 SLM의 성능을 설명할 수 없음을 시사합니다. 더 강력한 아랍어 정렬 (alignment)과 더 신뢰할 수 있는 지시 이행 (instruction-following) 동작을 가진 모델들이 작업 전반에서 더 나은 성능을 보이는 경향이 있었습니다. 성능이 낮은 모델들 사이에서 공통적으로 나타나는 실패 패턴에는 프롬프트 누출 (prompt leakage), 환각 (hallucination), 언어 표류 (language drift), 불완전한 생성 (incomplete generation) 및 약한 작업 준수 (weak task adherence)가 포함됩니다. 전반적으로, 이 벤치마크는 소형 아랍어 모델을 평가하기 위한 구조화된 참조를 제공하며, 효율적이고 신뢰할 수 있으며 문화적으로 적절한 아랍어 AI 시스템에 대한 향후 연구를 지원합니다.