아랍어 LLM 평가의 새로운 기준: QIMMA 🚀

요약

기존 아랍어 NLP 평가는 파편화되어 있고 검증되지 않은 경우가 많습니다. 저희는 이러한 문제를 해결하기 위해 'QIMMA'를 구축했습니다. QIMMA는 기존의 여러 아랍어 벤치마크(14개 소스, 109개 서브셋)를 통합하여 52,000개 이상의 샘플로 구성된 통일된 평가 스위트입니다. 가장 중요한 특징은 모델 평가 전에 '품질 검증 파이프라인'을 거친다는 점입니다. 이 파이프라인은 Qwen3-235B와 DeepSeek-V3 같은 최신 LLM 2개 모델의 자동 평가(10점 루브릭)와 원어민 전문가의 수동 검토를 결합하여, 기존 벤치

핵심 포인트

• QIMMA는 아랍어 NLP 분야에서 최초로 오픈 소스, 순수 아랍어 콘텐츠, 체계적인 품질 검증, 코딩 평가 기능을 모두 갖춘 통합 플랫폼입니다.
• 총 14개의 소스 벤치마크에서 109개의 서브셋을 통합하여 52,000개 이상의 샘플로 구성되었으며, 교육, 법률, 의료 등 7가지 도메인을 포괄합니다.
• 평가 전 '품질 검증 파이프라인'은 Qwen3-235B와 DeepSeek-V3 같은 최신 LLM을 이용한 자동 평가(10점 루브릭) 및 원어민 전문가의 수동 검토를 거쳐 데이터 신뢰도를 극대화합니다.
• 검증 결과, 기존 벤치마크들은 문화적 편향, 주석 불일치 등 체계적인 품질 문제를 안고 있으며, 이로 인해 보고된 점수가 실제 아랍어 언어 능력을 정확히 반영하지 못할 수 있습니다.