H$^2$R: 강화학습을 통한 수학적 추론을 위한 계층적 힌트 기반 보상

요약

본 글은 LLM의 수학적 추론 능력을 향상시키기 위해 '계층적 힌트 기반 보상(H$^2$R)' 프레임워크를 제안합니다. H$^2$R은 복잡한 문제의 내재적 하위 질문 구조를 활용하여 논리적인 중간 이정표 역할을 하는 조건 신호를 제공합니다. 새로운 벤치마크 HiMath를 통해 Qwen2.5-Math-7B 모델에서 계층적 힌트가 추론 성능을 크게 향상시키는 것이 입증되었습니다.

핵심 포인트

• H$^2$R은 수학 문제의 하위 질문 구조를 활용하여 중간 조건 신호를 제공합니다.
• 이는 CoT 프롬프팅과 달리 논리적으로 근거가 마련된 추론 이정표 역할을 합니다.
• 새로운 벤치마크 HiMath를 통해 계층적 구조화 문제를 검증했습니다.
• Qwen2.5-Math-7B 모델의 정확도가 오라클 힌트를 사용해 최대 45.6%까지 향상되었습니다.