요약

rStar-Math는 지식 증류(distillation) 없이도 OpenAI o1에 필적하거나 능가하는 수준의 수학 추론 능력을 작은 언어 모델(SLM)에 부여하는 새로운 프레임워크입니다. 이 방법은 Monte Carlo Tree Search (MCTS)를 활용한 '심층 사고' 과정을 통해 테스트 시뮬레이션 기반으로 작동하며, 세 가지 혁신적인 요소를 도입했습니다. 특히, 합성된 추론 궤적 생성, 프로세스 보상 모델(PPM)을 통한 개선된 학습 방법, 그리고 정책 SLM과 PPM을 반복적으로 진화시키는 자기진화 레시피를 통해 수학 문제 해결 능력을 크게 향상시켰습니다.

핵심 포인트

• rStar-Math는 지식 증류 없이도 작은 LLM의 수학 추론 능력을 극대화하는 프레임워크입니다.
• 핵심 메커니즘은 MCTS 기반의 '심층 사고'를 테스트 시뮬레이션 과정에서 수행하여 복잡한 문제 해결 경로를 탐색합니다.
• 세 가지 혁신 요소는 (1) 합성된 추론 궤적 생성, (2) 프로세스 보상 모델(PPM)을 이용한 학습, (3) 정책 SLM과 PPM의 반복적인 자기진화 레시피입니다.
• MATH 벤치마크에서 Qwen2.5-Math-7B와 Phi3-mini-3.8B 등의 성능을 크게 향상시켜 최첨단 수준에 도달했음을 입증했습니다.