RAG를 대규모로 최적화하기: 청킹, 검색 및 지연 시간을 40% 단축한 베이지안 검색

우리가 '의미 기반 검색 + 희망'에서 측정 가능하고 조정 가능한, 재현율(recall)@10이 95%인 검색 파이프라인으로 이동한 방법

RAG 현실 점검 (The RAG Reality Check)

모두가 RAG를 같은 방식으로 배포합니다: 512 토큰 단위로 청킹하고, text-embedding-3-small로 임베딩하며, top-k=5로 설정한 뒤 컨텍스트에 넣습니다. 데모에서는 작동합니다.

하지만 프로덕션 환경에 투입하면 다음과 같은 문제가 발생합니다:

• 법률 계약서: 512 토큰이 문장 중간에서 조항을 분리함
• API 문서: 1000 토큰 청크가 노이즈 속에 신호를 묻어버림
• 고객 티켓: 대화형 컨텍스트는 고정된 창(fixed windows)보다 중첩(overlap)이 필요함
• 지연 시간 (Latency): 임베딩 500ms + 벡터 검색 200ms + LLM 300ms = 쿼리당 1초 이상

우리는 검색 계층(retrieval layer)을 처음부터 다시 구축했습니다. 실제로 지표를 개선하는 것은 다음 요소들입니다.

청킹 (Chunking): 만능은 없다 (One Size Fits None)

# rag/chunking.py
from abc import ABC, abstractmethod
from dataclasses import dataclass
...

문서 유형별 프로덕션 설정:

하이브리드 검색: BM25 + 벡터 + 리랭커 (Hybrid Retrieval)

순수 벡터 검색은 정확한 일치(오류 코드, 함수 이름 등)를 놓칩니다. 순수 BM25는 의미적 일치를 놓칩니다. 하이브리드가 승리합니다.

# rag/retrieval.py
class HybridRetriever:
    def __init__(self, vector_store, bm25_index, reranker, weights=(0.4, 0.3, 0.3)):
...

Cross-encoder 리랭킹을 사용하는 이유? Bi-encoder (임베딩) 유사도는 관련성(relevance)과 약 0.75의 상관관계를 가집니다. Cross-encoder는 약 0.92입니다. 50→5로 줄이는 과정은 50ms가 소요되지만 재현율을 15% 높여줍니다.

쿼리 변환 (Query Transformation): 사용자가 물어본 것을 검색하지 마라

사용자들은 질문을 제대로 하지 않습니다. 먼저 변환하세요.

# rag/query_transform.py
class QueryTransformer:
    def __init__(self, llm_model="gpt-4o-mini"):
...

쿼리 확장 결과:

• 단일 쿼리 recall@10: 78%
• 3개 확장 쿼리 (합집합): 94%
• 5개 확장 쿼리 (합집합): 96%
• 비용: 임베딩 호출이 3~5배 증가하지만 병렬화 가능

베이지안 최적화 (Bayesian Optimization): 하이퍼파라미터 추측을 멈추세요

chunk_size=512, top_k=5, similarity_threshold=0.7 — 누가 이 값들을 선택했을까요?

우리는 검색 (retrieval)을 블랙박스 함수 f(chunk_size, overlap, top_k, weights) → recall@10, latency로 취급하며, 베이지안 검색 (Bayesian search)을 통해 이를 최적화합니다.

# rag/optimization.py
import optuna
from dataclasses import dataclass
...

우리의 파레토 프런티어 (Pareto frontier) (법률 문서, 200개 쿼리 골든 셋):

프로덕션 메트릭 대시보드 (Production Metrics Dashboard)

# rag/metrics.py
from prometheus_client import Histogram, Counter, Gauge

...

결과: 6개월간의 반복 (Iteration)

당신의 RAG를 위한 체크리스트

• 고정된 토큰이 아닌 문서 구조에 따라 청킹 (Chunk by document structure)
• 하이브리드 검색 (Hybrid retrieval) (BM25 + 벡터 + 리랭크 (rerank)) — 단일 모달리티를 사용하지 말 것
• 모호하거나 짧은 쿼리를 위한 쿼리 확장 (Query expansion)
• 계층화된 케이스를 포함한 골든 데이터셋 (Golden dataset) (Git에서 버전 관리)
• 하이퍼파라미터의 베이지안 최적화 (Bayesian optimization) (매월 재실행)
• 모든 검색에 대한 계측 (Instrumentation) (지연 시간, Recall 샘플링)
• 검색 변경 사항을 위한 A/B 프레임워크 (A/B framework) (피처 플래그 (feature flags))

사고방식의 전환 (The Mental Shift)

검색 (Retrieval)은 사후 고려 사항이 아니라 인프라입니다.

• 청킹 전략을 일급 객체 코드 (first-class code)로 취급하세요 (버전 관리, 테스트, 리뷰 수행)
• 골든 데이터셋 = 당신의 가장 가치 있는 지식 재산 (IP) (종교적일 정도로 정성껏 큐레이션하세요)
• 모든 검색 변경 = 평가 실행 (CI에 의해 강제됨)
• 회귀 (Regression) 경고 = 페이징 경고 (이메일 요약이 아닌 즉각적인 알림)

코드: github.com/yourname/rag-eval-framework |
토론: Hacker News |
팔로우: @yourname