Atomic MathReasoner: 수학적 LLM을 위한 원자적 추론 기술의 인스턴스 레벨 조합
요약
본 글은 LLM의 수학적 추론 능력을 향상시키기 위해 원자적 기술 조합 프레임워크인 Atomic MathReasoner(AMR)를 제안합니다. AMR은 능력별 LoRA expert 라이브러리를 훈련하고, 경량 라우터를 통해 문제에 가장 적합한 원자적 기술 조합을 동적으로 선택합니다. 실험 결과, Qwen2.5-Math-Instruct-7B 모델에서 수학적 추론 성능이 유의미하게 개선됨을 입증했습니다.
핵심 포인트
- 수학적 추론 능력을 단일 역량이 아닌 원자적 기술 조합으로 접근합니다.
- AMR은 LoRA expert와 경량 라우터를 활용하여 문제별 최적 조합을 찾습니다.
- 온라인 최적화 없이도 문제에 맞는 원자적 기술 활용이 가능해집니다.
- Qwen2.5-Math-Instruct-7B 모델에서 Level 1 정확도가 64.4%에서 68.1%로 향상되었습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG (Machine Learning)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기