Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
저자원 언어인 우르두어의 수학적 추론 능력을 강화하기 위해 개발된 Riazi-8B 모델을 소개합니다. Wikipedia를 활용한 지속적 사전 학습과 GSM8K 기반의 CoT 데이터를 통한 미세 조정을 통해 성능을 최적화했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기최근의 거대 언어 모델 (LLMs)은 강력한 수학적 추론 능력을 보여주고 있지만, 기존의 성과는 영어 중심의 학습 자원과 벤치마크에 크게 의존하고 있습니다. 그 결과, 추론 중심의 데이터셋과 최적화된 모델이 여전히 부족한 우르두어와 같은 저자원 언어 (low-resource languages)에서는 추론 성능이 상당히 저하됩니다. 우르두어는 추론 중심의 자원과 다단계 수학 문제 해결을 위해 최적화된 모델이 모두 부족하여, 최근의 기술적 진보를 우르두어 사용자들에게 적용하는 데 한계가 있습니다. 우리는 우르두어 Wikipedia를 활용한 지속적 사전 학습 (continued pre-training)과 GSM8K에서 파생된 우르두어 사고 사슬 (Chain-of-Thought, CoT) 데이터를 활용한 지도 미세 조정 (supervised fine-tuning)의 2단계 적응 과정을 통해 개발된 우르두어 수학적 추론 모델인 Riazi-8B를 통해 이 격차를 해소합니다. 우리는 기존의 우르두어 지시어 미세 조정 (instruction-tuned) 모델들을 대상으로 MGSM-Urdu에서 Riazi-8B를 평가합니다. 우리의 결과는 정답 정확도, 추론 품질, 응답 완결성, 그리고 우르두어 생성 능력 측면에서 일관된 개선을 보여줍니다. 우리의 연구 결과는 우르두어 언어 적응과 추론 중심의 미세 조정을 결합하는 것이 저자원 언어로 수학적 추론 능력을 확장하는 데 효과적인 전략임을 입증합니다.