Search-E1: 자기 증류(Self-Distillation)를 통한 검색 증강 추론(Search-Augmented Reasoning)의

요약

Search-E1은 복잡한 외부 모듈 없이 순수 GRPO만을 활용하여 검색 증강 추론 에이전트를 스스로 개선하는 자기 증류(Self-Distillation) 방법론을 제안합니다. 토큰 수준의 KL 목적 함수를 통해 정책의 추론 분포를 최적화하며, 기존 오픈 소스 베이스라인을 능가하는 성능을 입증했습니다.

핵심 포인트

• 복잡한 외부 감독 없이 GRPO 기반의 자기 진화 구현
• 토큰 수준의 순방향 KL 목적 함수를 통한 효율적 정렬
• Qwen2.5-3B 모델로 7개 QA 벤치마크에서 우수한 성능 달성
• 학습 파이프라인의 비대화를 방지하는 단순하고 강력한 구조