Homology 기반 추측 검색(Speculative Retrieval)으로 RAG 속도 향상

HaS: 동형학적 추측 검색을 통한 RAG 성능 최적화

검색 증강 생성 (Retrieval-Augmented Generation, RAG)은 대규모 언어 모델(LLMs)이 외부 문서를 컨텍스트로 가져와 지식의 경계를 확장하는 핵심 기술입니다. 그러나 지식 데이터베이스가 커질수록 검색 과정 자체가 병목 현상을 일으키며 시간이 오래 걸리는 문제가 발생합니다.

기존의 속도 향상 전략들은 주로 근사적 검색(approximate retrieval)을 통해 정확도를 희생하거나, 완전히 동일한 쿼리만 재활용하여 미미한 성능 개선에 그치는 한계를 가졌습니다.

본 논문에서 제안하는 **HaS (Homology-Aware Speculative Retrieval)**는 이러한 문제를 해결하기 위해 '동형학적(homology-aware)' 추측 검색 프레임워크를 제시합니다. HaS의 핵심 아이디어는 쿼리 간의 유사성 관계, 즉 동형학적 관계에 기반하여 낮은 지연 시간으로 후보 문서를 신속하게 얻어내는 것입니다.

1. HaS의 작동 원리: 동형학적 재활용

HaS는 들어오는 새로운 쿼리가 이전에 처리했던 쿼리와 유사한지(homologous)를 판단하는 '동형학적 쿼리 재식별(homologous query re-identification)' 작업을 수행합니다. 만약 시스템이 현재의 쿼리를 과거에 관찰된 쿼리의 동형학적 재발견으로 간주한다면, 전체 데이터베이스 검색 과정을 건너뛰고 해당 추측을 수용할 수 있습니다.

실제 환경에서 쿼리는 특정 패턴(popularity patterns)을 따르기 때문에, 이러한 '동형학적 쿼리'가 자주 발생하며 HaS는 이 특성을 활용하여 효율적인 속도 향상을 달성합니다. 이는 마치 사람이 비슷한 질문에 대해 이미 알고 있는 답변의 구조를 재사용하는 것과 같습니다.

2. 성능 및 적용 범위

광범위한 실험 결과에 따르면, HaS는 검색 지연 시간을 **최대 36.99%**까지 줄이는 것으로 나타났습니다. 주목할 점은 이러한 속도 향상이 단지 1~2%의 미미한 정확도 하락으로 달성된다는 것입니다.

또한, HaS는 단순 검색을 넘어 복잡한 멀티홉(multi-hop) 쿼리가 포함된 최신 에이전트 기반 RAG 파이프라인에서도 뛰어난 가속 성능을 보여주며, 플러그앤플레이(plug-and-play) 솔루션으로 활용 가능합니다.

HaS는 실제 사용 환경의 인기 패턴에 의존하는 동형학적 관계를 활용하여, 대규모 지식 검색 시스템의 실질적인 병목 현상을 해소하는 효과적인 방안을 제시합니다. (Source code is available at: https://github.com/ErrEqualsNil/HaS.)

Homology 기반 추측 검색(Speculative Retrieval)으로 RAG 속도 향상

요약

핵심 포인트

HaS: 동형학적 추측 검색을 통한 RAG 성능 최적화

1. HaS의 작동 원리: 동형학적 재활용

2. 성능 및 적용 범위

댓글

HaS: 동형학적 추측 검색을 통한 RAG 성능 최적화

1. HaS의 작동 원리: 동형학적 재활용

2. 성능 및 적용 범위