RAG(검색 증강 생성)에 대해 알고 있는 모든 것이 끝났습니다.

벡터 데이터베이스 (Vector Database) 산업 전체가 도전을 받게 되었습니다.

연구진이 PageIndex를 출시했는데, 이는 우리가 "필수적"이라고 받아들였던 거의 모든 단계를 던져버립니다.

❌ 벡터 데이터베이스 (Vector Database) 없음
❌ 임베딩 (Embeddings) 없음
❌ 청킹 (Chunking) 없음
❌ 유사도 검색 (Similarity Search) 없음

대신...

문서의 트리 인덱스 (Tree Index)를 구축하여, LLM (대규모 언어 모델)이 어떤 청크가 "유사한지" 추측하는 방식이 아니라, 사람이 책을 읽는 것처럼 문서를 탐색할 수 있게 합니다.

결과는?

📈 FinanceBench에서 98.7% 달성.

이 벤치마크에서 모든 벡터 기반 RAG 시스템을 능가했습니다.

만약 이것이 벤치마크를 넘어 확장된다면, 벡터 파이프라인 (Vector Pipeline)에 소비되는 수백만 달러가 갑자기... 불필요해 보일 수 있습니다.

이것은:
• 100% 오픈 소스 (Open Source)
• 무료 사용 가능
• 매우 면밀히 지켜볼 가치가 있음

RAG의 플레이북이 방금 바뀌었을지도 모릅니다.