Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
단일 검색기에 의존하는 기존 RAG의 한계를 극복하기 위해, 다양한 쿼리 분포에 맞춰 최적의 검색기 하위 집합을 자동으로 선택하는 'Retriever Portfolios' 방식을 제안합니다. 이 방식은 기존 방식보다 높은 답변 품질을 제공하면서도 병렬 처리를 통해 지연 시간과 비용을 효과적으로 절감합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기검색 증강 생성 (Retrieval-augmented generation, RAG) 시스템은 단순한 사실 확인 질문부터 복잡한 다단계 추론 (multi-hop reasoning)에 이르기까지 매우 이질적인 쿼리 (queries)에 직면함에도 불구하고, 일반적으로 단일 검색기 (retriever)와 단일 하이퍼파라미터 (hyperparameters) 세트에 의존합니다. 우리는 대상 쿼리 분포 (query distribution)의 다양한 영역을 커버하기 위해, 대규모 후보 풀에서 작고 다양한 검색기 하위 집합 (포트폴리오, portfolio)을 자동으로 선택하는 방법을 제안합니다. 우리는 이 설정을 쿼리 분포에 대한 기대 최적의 $k$개 (expected best-of-$k$) 목적 함수를 통해 공식화하며, 이것이 최적에 가까운 보장을 갖는 효율적인 포트폴리오 구축 알고리즘을 허용함을 보여줍니다. 여러 QA 벤치마크에 걸쳐, 우리가 학습시킨 포트폴리오와 라우터 파이프라인 (router pipeline)은 검색 지표 (retrieval metrics)와 답변 품질 모두에서 단일 검색기 및 단순 다중 검색기 (naive multi-retriever) 베이스라인을 일관되게 능가합니다. 또한, 추론 시간 하이퍼파라미터 튜닝 (inference-time hyperparameter tuning) 방식과 비교했을 때, 고정된 포트폴리오는 병렬 검색 및 LLM 호출을 가능하게 하여, 실질적으로 더 낮은 지연 시간 (latency)과 토큰 비용 (token cost)으로 대등한 (때로는 더 나은) 정확도를 달성합니다.