벡터 기반의 전통적인 RAG 는 유사도를 최적화하는 데 집중하여 관련성 (relevance) 을 확보하지 못해 검색 정확도에서 어려움을 겪는 경우가 많습니다. 하지만 우리가 retrieval(검색) 에 진정으로 필요한 것은 '관련성'이며, 이를 위해서는 추론이 필요합니다.

전문 지식이 필요하고 다단계 추론이 요구되는 전문 문서를 다룰 때 벡터 기반의 RAG 와 유사도 검색은 종종 한계에 부딪힙니다.

따라서 우리는 더 추론 중심적인 RAG 접근법을 탐구하기 시작했습니다. 추론 기반 RAG(Reasoning-based RAG) 는 LLM 이 가장 관련성 높은 문서 섹션으로 도달하도록 스스로 사고하고 추론할 수 있게 합니다. AlphaGo 에서 영감을 받아, 구조화된 문서 검색을 수행하기 위해 트리 검색 (tree search) 을 사용하도록 제안합니다.

우리는 핵심 구성 요소 중 하나인 PageIndex 를 오픈 소스로 공개했습니다. PageIndex 는 긴 문서 (예: 재무 보고서, 규제 문서, 또는 교재) 에서 검색 트리를 구축하는 계층적 문서 인덱싱 시스템으로, 이를 추론 기반 RAG 에 사용할 준비를 합니다.

주요 특징은 다음과 같습니다:

• 계층적 구조 (Hierarchical Structure): 긴 PDF 를 LLM 친화적인 트리 구조로 조직화합니다. 마치 스마트한 목차와 같습니다.
• 정밀한 참조 (Precise Referencing): 각 노드에는 요약과 정확한 물리적 페이지 번호가 포함됩니다.
• 자연스러운 분할 (Natural Segmentation): 노드는 문서 섹션과 정렬되어 맥락을 보존하며, 임의의 청킹 (chunking) 이 없습니다.

우리는 PageIndex 를 추론 기반 RAG 와 함께 재무 문서 분석에 적용하여 벡터 기반 시스템 대비 검색 정확도에서 상당한 개선을 확인했습니다.

추론 기반 RAG 에 대한 의견이나 PageIndex 가 적용될 수 있는 아이디어 등에 대해 피드백을 원합니다!