Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 논문은 다이얼렉트별 아랍어의 수학적 추론 능력을 평가하기 위해 DAR-MGSM이라는 새로운 벤치마크를 개발했습니다. 이 벤치마크는 다섯 가지 주요 방언을 포함하며, LLM에 대한 테스트 결과 성능 저하 경향과 문화 현지화가 모델 추론 과정에 미치는 영향을 분석했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기수학적 추론은 방언 아랍어를 포함한 저자원 언어에 대해 여전히 충분히 탐구되지 않은 분야입니다. 이러한 격차를 해소하기 위해, 우리는 다이얼렉트별 아랍어의 수학적 추론을 평가하는 최초의 수동으로 큐레이션된 벤치마크인 DAR-MGSM (Dialectal Arabic Multilingual Grade School Math)을 소개합니다. DAR-MGSM은 다단계 추론이 필요한 수학 단어 문제(MWPs)로 구성되어 있으며, 현대 표준 아랍어(MSA)와 함께 다섯 가지 주요 아랍어 방언을 포괄합니다. 이 벤치마크는 두 개의 병렬 버전으로 구성됩니다: 번역 전용 버전과 번역 및 문화 현지화 버전입니다. 후자 버전은 개체와 참조를 지역적 변종에 맞게 조정합니다. 우리는 DAR-MGSM에서 11개의 아랍어 중심 및 다국어 대규모 언어 모델(LLM)을 평가했습니다. 그 결과는 성능이 일반적으로 현지화된 버전에서 감소하는 경향을 보였으며, 이는 문화적으로 기반한 적응이 야기하는 어려움을 강조합니다. 그러나 이러한 효과의 크기는 모델마다 다르며, 아랍어 중심 모델들이 현지화에 대해 서로 다른 수준의 민감도를 보이는 것을 보여줍니다. 메커니즘적 해석 가능성 분석(mechanistic interpretability analysis)은 동일한 MWPs의 번역 및 현지화 변형이 전체 정확도가 유사하더라도 종종 뚜렷하게 다른 내부 추론 궤적을 유도한다는 것을 보여줍니다. 전반적으로, 우리의 결과는 수학적 추론 성능이 언어적 다양성과 문화적 맥락 모두에 의존함을 보여줍니다.