딥러닝 기반 수학 추론 에이전트 DeepMath 개발 및 성능 분석

요약

본 글은 LLM의 한계인 복잡한 수학 문제 해결 과정의 비효율성과 오류 가능성을 개선하기 위해 'DeepMath'라는 경량화된 수학 추론 에이전트를 소개합니다. DeepMath는 Qwen3-4B Thinking 모델을 기반으로 하며, Python 코드를 안전하게 실행할 수 있는 샌드박스 환경과 smolagents 라이브러리를 결합했습니다. 특히 GRPO (Group Relative Policy Optimization)라는 보상 기반 최적화 기법을 통해 모델이 장황한 설명 대신 간결하고 계산 중심적인 코드 스니펫을 선호하도록 학습시켰

핵심 포인트

• DeepMath는 Qwen3-4B Thinking 모델에 Python 실행기(Executor)를 결합하여, 수학 추론 과정에서 발생하는 산술 오류와 긴 출력을 줄였습니다.
• GRPO (Group Relative Policy Optimization) 훈련을 통해 에이전트가 간결하고 계산 중심적인 코드 스니펫 생성을 선호하도록 유도했으며, 이는 성능 향상에 결정적이었습니다.
• DeepMath는 MATH500, AIME 등 네 가지 수학 데이터셋에서 최대 66%까지 출력 길이를 단축시키면서 정확도를 개선하는 효과를 보였습니다.
• 샌드박스 환경을 통해 코드 실행의 안전성(No file I/O, No network)과 해석 가능성을 확보하고, determinism을 높였습니다.