Riazi-8B: 수학적 추론을 위한 우르두어 거대 언어 모델 (LLM)

최근의 거대 언어 모델 (LLMs)은 강력한 수학적 추론 능력을 보여주고 있지만, 기존의 성과는 영어 중심의 학습 자원과 벤치마크에 크게 의존하고 있습니다. 그 결과, 추론 중심의 데이터셋과 최적화된 모델이 여전히 부족한 우르두어와 같은 저자원 언어 (low-resource languages)에서는 추론 성능이 상당히 저하됩니다. 우르두어는 추론 중심의 자원과 다단계 수학 문제 해결을 위해 최적화된 모델이 모두 부족하여, 최근의 기술적 진보를 우르두어 사용자들에게 적용하는 데 한계가 있습니다. 우리는 우르두어 Wikipedia를 활용한 지속적 사전 학습 (continued pre-training)과 GSM8K에서 파생된 우르두어 사고 사슬 (Chain-of-Thought, CoT) 데이터를 활용한 지도 미세 조정 (supervised fine-tuning)의 2단계 적응 과정을 통해 개발된 우르두어 수학적 추론 모델인 Riazi-8B를 통해 이 격차를 해소합니다. 우리는 기존의 우르두어 지시어 미세 조정 (instruction-tuned) 모델들을 대상으로 MGSM-Urdu에서 Riazi-8B를 평가합니다. 우리의 결과는 정답 정확도, 추론 품질, 응답 완결성, 그리고 우르두어 생성 능력 측면에서 일관된 개선을 보여줍니다. 우리의 연구 결과는 우르두어 언어 적응과 추론 중심의 미세 조정을 결합하는 것이 저자원 언어로 수학적 추론 능력을 확장하는 데 효과적인 전략임을 입증합니다.