검색 전 경로 설정: RAG 대 장문 컨텍스트를 위한 LLM의 잠재적 라우팅 능력 활성화

요약

LLM의 컨텍스트 창 확장으로 긴 문서 이해와 다중 출처 추론이 가능해졌지만, RAG(검색 증강 생성)와 장문 컨텍스트(LC) 중 어떤 전략을 사용할지 결정하는 것이 핵심 과제입니다. 본 논문은 답변 생성을 시작하기 전에 구조화된 추론을 수행하여 최적의 접근 방식을 능동적으로 선택하는 'Pre-Route'라는 라우팅 프레임워크를 제안합니다. 실험 결과, Pre-Route는 기존 방법들보다 우수하며 비용 효율성까지 높다는 것을 입증했습니다.

핵심 포인트

• LLM의 컨텍스트 확장에도 불구하고 RAG와 장문 컨텍스트(LC) 전략 간의 최적 선택이 여전히 중요한 과제이다.
• 기존 라우팅 방법들(예: Self-Route)은 실패 기반의 수동적인 폴백에 의존하여 비효율적이고 해석하기 어려웠다.
• 새롭게 제안된 'Pre-Route'는 답변 생성 전에 구조화된 추론을 수행함으로써 최적의 검색/컨텍스트 전략을 능동적으로 결정한다.
• 실험 결과, Pre-Route는 Always-RAG, Always-LC, Self-Route 등 기존 기준선 대비 성능과 비용 효율성 모두에서 우수함을 보였다.