멀티턴(Multi-turn) 에이전트는 최종 답변을 생성하기 전에 도구 상호작용의 확장된 시퀀스를 통해 복잡한 작업을 해결합니다. 이로 인해 크레딧 할당(credit assignment)은 사후 훈련 중 근본적인 과제가 됩니다. 결과 보상(Outcome rewards)은 단기 지평 추론에 신뢰할 수 있는 감독을 제공하지만, 궤적(trajectories)이 수십 또는 수백 개의 도구 호출로 증가함에 따라 희소해지고 분산도가 높아집니다. 또한 오해의 소지가 있을 수 있습니다: 실패한 롤아웃(rollout)에는 에이전트를 목표에 더 가깝게 이동시키는 많은 유용한 행동들이 포함될 수 있지만, 결과만을 이용한 훈련은 그 최종적인 실수와 동일한 부정적 이점(negative advantage)을 할당합니다. 우리는 에이전트 기반 강화 학습(agentic reinforcement learning)을 위한 조밀한 크레딧 할당 방법인 TRACE (Turn-level Reward Assignment via Credit Estimation)를 제안합니다. TRACE는 롤아웃을 도구 호출 경계에서의 상태 전이로 표현하고, 고정된 참조 모델(frozen reference model)로부터 골드 답변의 로그 확률(log-probabilities)을 얻은 다음, 이를 로그 비율 상태 값(log-ratio state values)으로 변환하여 행동별 보상(per-action rewards)을 해당 값들의 시간 차분(Temporal-Difference, TD) 변화로 도출합니다. 이는 추가적인 비평가(critic)나 프로세스 레이블 훈련이 필요하지 않으며, 그 한 단계 로그 비율 TD 구성 요소는 중복되는 도구 호출에 걸쳐 망원경처럼 작용(telescopes)합니다. 장기 지평의 복잡한 검색에서 TRACE는 순수한 RL만을 사용하여 베이스 모델의 도구 사용 능력을 크게 향상시키며, 콜드 스타트 감독 미세 조정 단계(cold-start supervised fine-tuning stage), 에이전트 기반 중훈련 단계(agentic mid-training stage), 또는 라이브 웹 데이터에 대한 훈련 없이도 가능합니다. 폐쇄형 웹 BrowseComp-Plus 벤치마크에서 Qwen3-4B를 $7.2$에서 $35.6$으로, 그리고 Qwen3-30B-A3B를 $8.4$에서 $42.6$으로 끌어올립니다. 학습된 검색 행동은 개방형 웹 벤치마크에도 전이되며, 학습 곡선은 RL 훈련 중 더 빠른 개선과 수렴을 보여줍니다.