PageIndex가 벡터 검색 없이 RAG를 재정의하는 방법

단순한 좌절감에서 시작되었습니다. 빠르고, 확장 가능하며, 기술적으로는 정확한 RAG (Retrieval-Augmented Generation) 시스템이었지만, 여전히 답변이 미묘하게 어긋나는 느낌을 주었습니다. 데이터는 존재했고, 임베딩 (embeddings)은 생성되었으며, 벡터 검색 (vector search)은 예상대로 작동했지만, 결과는 종종 정밀하기보다는 "거의 맞을 뻔한" 수준에 머물렀습니다. 마치 책을 넘기다가 관련은 있지만 정확히 당신이 필요한 내용은 아닌 페이지에 멈추는 것과 같았습니다. 이것이 전통적인 벡터 기반 검색 (vector-based retrieval)의 한계입니다. 이는 확실성이 아닌 유사성 (similarity)에 의존합니다. PageIndex는 의미론적 추측 (semantic guessing)을 구조화된 탐색 (structured navigation)으로 대체함으로써, 단순히 가장 가까운 일치 항목이 아니라 정확히 올바른 정보를 검색할 수 있도록 하여 이 아이디어에 도전합니다.

PageIndex란 무엇인가?

PageIndex는 벡터 임베딩 (vector embeddings)과 유사성 검색 (similarity search)에 대한 의존성을 제거한 전통적인 RAG (Retrieval-Augmented Generation)의 대안적 접근 방식입니다. 텍스트를 벡터로 변환하여 벡터 데이터베이스 (vector database)에 저장하는 대신, PageIndex는 정보를 구조화되고 계층적이며 페이지 기반인 형식으로 구성합니다.

ai-agent-development-freelancer

스마트한 책의 색인 (index)처럼 생각해보세요.

(벡터 검색에서와 같은) "의미론적 유사성 (semantic similarity)"으로 검색하는 대신, PageIndex는 시스템이 구조화된 참조 (structured references), 메타데이터 (metadata), 그리고 논리적 그룹화 (logical grouping)를 사용하여 데이터의 가장 관련 있는 섹션으로 직접 이동할 수 있게 합니다.

이를 통해 다음과 같은 이점을 얻습니다:

• 더 결정론적임 (deterministic) (벡터 유사성보다 추측이 적음)
• 디버깅 및 추적 (trace)이 더 쉬움
• 종종 더 비용 효율적임 (임베딩 또는 벡터 DB 오버헤드 없음)

PageIndex의 작동 방식

1. 페이지로의 데이터 구성 (Data Organization into Pages)

PageIndex의 작동 방식

1. 페이지로의 데이터 구성 (Data Organization into Pages)

텍스트를 임의로 청킹 (Chunking) 하는 대신, 데이터를 논리적인 페이지로 나눕니다.
각 페이지는 섹션, 주제 또는 문서 파편과 같이 일관된 정보 단위(Coherent unit)를 나타냅니다.

예시:

Page 1 → “RAG 소개”
Page 2 → “벡터 데이터베이스 설명”
Page 3 → “AWS 아키텍처”
이는 무작위 청킹보다 의미를 더 잘 보존합니다.

2. 메타데이터 및 인덱스 생성 (Metadata & Index Creation)

각 페이지는 다음과 같은 메타데이터로 풍부해집니다:

• 제목 (Titles)
• 키워드 (Keywords)
• 태그 (Tags)
• 다른 페이지와의 관계 (Relationships to other pages)

그 후 검색 엔진이나 책의 색인(Index)이 작동하는 방식과 유사하게 인덱스가 생성됩니다.

이를 통해 임베딩 (Embeddings) 없이도 빠른 조회가 가능합니다.

3. 쿼리 이해 (Query Understanding)

사용자가 질문을 하면, 시스템은 LLM (GPT-4 또는 Claude 등)을 사용하여 쿼리를 분석합니다.

쿼리를 벡터로 변환하는 대신, 시스템은 다음을 수행합니다:

• 의도 추출 (Extracts intent)
• 핵심 주제 식별 (Identifies key topics)
• 쿼리를 관련 인덱싱된 페이지에 매핑 (Maps the query to relevant indexed pages)

4. 페이지 검색 (Page Retrieval, 벡터 검색 없음)

인덱스를 사용하여 시스템은 관련 페이지를 직접 검색합니다.

여기에는 다음이 포함될 수 있습니다:

• 키워드 매칭 (Keyword matching)
• 메타데이터 필터링 (Metadata filtering)
• 계층적 탐색 (Hierarchical navigation)

데이터가 구조화되어 있기 때문에 검색은 다음과 같은 특징을 갖습니다:

• 더 빠름 (Faster)
• 더 예측 가능함 (More predictable)
• 제어하기 더 쉬움 (Easier to control)

5. 컨텍스트 조립 (Context Assembly)

검색된 페이지들은 구조화된 컨텍스트 (Context)로 결합됩니다.

(느슨하게 관련된 청크를 반환할 수 있는) 전통적인 RAG와 달리, PageIndex는 다음을 보장합니다:

• 일관된 정보 흐름 (Coherent information flow)
• 논리적 그룹화 (Logical grouping)
• 최소한의 중복 (Minimal redundancy)

6. 응답 생성 (Response Generation)

마지막으로, 선택된 페이지들이 답변 생성을 위해 LLM으로 전달됩니다.

컨텍스트가 더 깨끗하고 관련성이 높기 때문에, 모델은 다음과 같은 결과를 냅니다:

• 더 정확한 응답 생성 (Produces more accurate responses)
• 환각 (Hallucinations) 감소
• 더 나은 일관성 유지 (Maintains better consistency)

결론

PageIndex는 벡터 검색을 제거하고 구조화된 페이지 기반 검색을 사용하여 더 정밀하고 설명 가능한 결과를 도출함으로써 RAG를 재고합니다. 이는 의미론적 유사성 (Semantic similarity)에 대한 의존도를 줄이고, 정확도를 향상시키며, AI 시스템에서 관련 지식에 접근하는 더 단순하고 결정론적인 (Deterministic) 방법을 제공합니다.