SD-Search: 검색 증강 추론을 위한 온폴리시(On-Policy) 사후 시각 자기 증류(Hindsight Self-Distillation)

요약

SD-Search는 외부 교사 모델이나 추가적인 주석 없이도 검색 증강 추론(Search-augmented reasoning) 에이전트의 성능을 높이는 온폴리시 사후 시각 자기 증류 기법을 제안합니다. 단일 모델이 롤아웃의 결과를 요약하는 교사 역할과 컨텍스트만 보는 학생 역할을 동시에 수행하며, 이를 통해 거친 궤적 보상을 조밀한 단계별 신호로 변환하여 학습 효율을 극대화합니다.

핵심 포인트

• 외부 교사 모델이나 추가적인 데이터 주석 없이 표준 강화학습 루프 내에서 단계별 감독 신호를 생성함
• 동일 모델이 컨텍스트 기반의 학생 모델과 사후 시각 블록을 사용하는 교사 모델 역할을 동시에 수행하는 자기 증류 방식 채택
• 토큰 수준의 젠슨-샤논 발산(Jensen-Shannon divergence) 최소화를 통해 가치 있는 검색 결정 행동을 복구함
• GRPO의 궤적 수준 보상 한계를 극복하여 개별 검색 쿼리에 대한 정밀한 신용 할당(Credit Assignment) 가능