검색 증강 추론 (Search-augmented reasoning) 에이전트는 내부적인 추론과 외부 검색기 (retriever) 호출을 교차하여 수행하며, 이들의 성능은 발행된 각 쿼리 (query)의 품질에 달려 있습니다. 그러나 결과 보상 강화학습 (outcome-reward reinforcement learning) 환경에서는 롤아웃 (rollout) 내의 모든 검색 결정이 동일한 궤적 수준의 보상 (trajectory-level reward)을 공유하므로, 개별 쿼리에는 단계별 신용 할당 (step-specific credit)이 이루어지지 않습니다. 최근의 과정 감독 (process-supervision) 방식들은 훨씬 더 큰 교사 모델 (teacher model)에 의존하거나, 더 강력한 외부 시스템이 생성한 하위 질문 주석 (sub-question annotations)을 활용하여 정책 (policy) 외부에서 단계별 신호를 끌어냄으로써 이 격차를 해결합니다. 이와 대조적으로, 우리는 외부 교사나 추가적인 주석 없이도 온폴리시 사후 시각 자기 증류 (on-policy hindsight self-distillation)를 통해 정책 자체로부터 단계별 감독 (step-level supervision)을 도출하는 SD-Search를 제안합니다. SD-Search에서 단일 모델은 조건부 (conditioning)만 다를 뿐 두 가지 역할을 수행합니다. 하나는 추론 시점에 사용 가능한 컨텍스트 (context)만을 보는 학생 (student) 모델이고, 다른 하나는 동일한 질문에서 샘플링된 롤아웃 그룹의 검색 쿼리와 최종 결과를 요약하는 압축된 사후 시각 블록 (hindsight block)을 추가적인 조건으로 사용하는 교사 (teacher) 모델입니다. 교사 모델은 각 롤아웃이 어떻게 전개되었고 어떤 것이 성공했는지 알고 있기 때문에, 교사의 쿼리 분포 (query distribution)는 어떤 결정이 가치 있었는지를 암묵적으로 표시하며, 학생 모델은 검색 쿼리 위치에서 교사와의 토큰 수준 젠슨-샤논 발산 (token-level Jensen--Shannon divergence)을 최소화함으로써 이러한 행동을 복구하도록 학습됩니다. 이는 GRPO의 거친 궤적 보상 (coarse trajectory reward) 위에 조밀한 단계별 신호 (dense, step-level signal)를 쌓아 올리는 역할을 합니다. 결정적으로, 이 신호는 외부 모델 추론, 보조 주석 파이프라인, 또는 추가적인 학습 단계 없이 표준 강화학습 (RL) 학습 루프 내에서 정책 자체에 의해 생성됩니다.