대규모 언어 모델 (LLMs)은 추론 능력을 향상시키기 위해 도구 호출 (tool invocation)을 점점 더 많이 활용하고 있습니다. 그러나 기존 방식은 일반적으로 도구 호출을 즉각적인 실행 (execution)과 밀접하게 결합합니다. 이러한 즉각적인 도구 상호작용은 LLM의 추론 일관성 (reasoning coherence)을 저해하고 표현력 (expressivity)을 제한하여, 궁극적으로 추론 성능을 저하시킬 수 있습니다. 이를 위해, 본 논문에서는 최초로 추론 과정에서 도구 호출과 실행을 분리하는 문제를 제안하고 공식화하며, 도구 통합 추론 (TIR)을 강화하기 위해 명시적 제어를 동반한 지연 실행 (delayed execution)을 도입합니다. 나아가, 우리는 계층적 제어 프레임워크 (hierarchical control framework)를 제안하고, 암시적 계층적 정책 (implicitly hierarchical policy)이 명시적 계층적 정책 (explicit hierarchical policy)과 동일한 동작을 학습할 수 있게 하는 대리 손실 (surrogate loss)을 이론적으로 도출하여, 제안된 IH-GRPO 알고리즘을 이끌어냅니다. IH-GRPO에 대한 광범위한 실험 결과, 가장 강력한 베이스라인 방법 대비 6개의 도메인 외 (out-of-domain) 수학적 추론 벤치마크에서 Qwen3-1.7B, Qwen3-4B, Qwen3-8B 모델 각각에 대해 1.87%, 2.16%, 2.53%의 절대적 성능 향상을 달성하였으며, 다른 도메인에서도 일관된 성능 향상을 보여주었습니다. 우리의 코드는 https://github.com/Lumina04/IH-GRPO-01 에서 확인할 수 있습니다.