암시적 계층적 GRPO: 도구 통합 수학적 추론을 위한 도구 호출과 실행의 분리

요약

본 논문은 LLM의 추론 성능을 높이기 위해 도구 호출과 실행을 분리하는 '도구 통합 추론(TIR)' 개념을 제안합니다. 기존의 즉각적인 도구 상호작용이 추론의 일관성을 해치는 문제를 해결하기 위해 지연 실행과 계층적 제어 프레임워크를 도입한 IH-GRPO 알고리즘을 개발했습니다. 실험 결과, Qwen3 모델 시리즈를 대상으로 다양한 수학적 추론 벤치마크에서 유의미한 성능 향상을 입증했습니다.

핵심 포인트

• 도구 호출(Tool Invocation)과 실행(Execution)을 분리하여 LLM의 추론 일관성 및 표현력 강화
• 명시적 제어를 동반한 지연 실행(Delayed Execution) 방식 도입
• 암시적 계층적 정책이 명시적 정책과 동일하게 동작하도록 하는 대리 손실(Surrogate Loss) 기반의 IH-GRPO 알고리즘 제안
• Qwen3 모델(1.7B, 4B, 8B)을 활용한 수학적 추론 벤치마크에서 성능 향상 달성