Teaching Thinking Models to Reason with Tools: A Full-Pipeline Recipe for

요약

본 논문은 도구 통합 추론(Tool-integrated reasoning, TIR)을 통해 기존의 텍스트 전용 모델이 가진 한계를 극복하고 사고 모델에 자연스러운 도구 사용 능력을 주입하는 종합적인 방법론을 제시합니다. 연구진은 SFT 단계에서 교사 궤적의 학습 가능성을 고려해야 하며, 도구 사용 비율 제어를 통해 핵심 추론 능력의 망각을 방지할 수 있음을 강조합니다. 또한, 최적화 목표를 손실 함수 대신 pass@k 및 응답 길이로 설정하고, 검증 가능한 보상(RLVR) 단계를 결합하여 오픈소스 모델에 최고 수준의 성능 향상을 달성하는 레시피를 소개했습니다.

핵심 포인트

• 도구 통합 추론(TIR)은 텍스트 전용 추론을 넘어선 사고 모델 확장을 위한 핵심 방법론이다.
• SFT 단계에서는 도구 강화 솔루션에 적합한 문제 유형을 우선시하고, 도구 사용 비율 제어를 통해 기본 추론 능력의 망각을 방지해야 한다.
• TIR SFT의 이득 극대화를 위해 최적화 목표를 손실 함수 대신 pass@k 및 응답 길이로 설정하는 것이 효과적이다.
• SFT 초기화와 모드 붕괴 안전 장치 위에 구축된 검증 가능한 보상(RLVR) 단계가 단순하지만 강력한 성능 향상을 가져온다.