추론 집약적 검색 (Reasoning-Intensive Retrieval) 재고: 에이전트 기반 검색 시스템의 리트리버 평가 및 개선

요약

본 논문은 단순한 유사성 매칭을 넘어 추론 과정을 지원하는 '추론 집약적 검색'의 중요성을 강조하며, 에이전트 기반 검색 시스템에 필요한 리트리버 평가 및 훈련 방법론 개선을 제안합니다. 연구진은 다면적인 골드 증거를 포함하고 정적/에이전트 기반 프로토콜에서 평가하는 새로운 전문가 주석 벤치마크인 BRIGHT-Pro를 소개했습니다. 또한, 보완적인 긍정 예시와 조건부 부정 예시를 생성하는 측면 분해 합성 코퍼스 RTriever-Synth도 구축하여 리트리버의 성능을 향상시키는 방안을 제시합니다.

핵심 포인트

• 추론 집약적 검색은 에이전트 기반 시스템에서 필수적이며, 단순한 유사성 매칭 이상의 증거 제공 능력을 요구한다.
• 기존 벤치마크는 제한적이므로, 다면적인 골드 증거를 포함하는 전문가 주석 벤치마크 BRIGHT-Pro가 제안되었다.
• 리트리버의 성능 향상을 위해 보완적 positive 및 조건부 hard negative를 생성하는 합성 코퍼스 RTriever-Synth가 구축되었다.
• 실험 결과, 측면 인식(aspect-aware) 및 에이전트 기반 평가 지표를 사용했을 때 리트리버 모델(RTriever-4B)이 기본 모델 대비 현저한 성능 개선을 보였다.