Agentic RAG: 프로덕션을 위한 자기 수정형 검색 루프 설계

표준 RAG (Standard RAG)는 한 번 검색하고 최선의 결과를 기대합니다. Agentic RAG는 검색하고, 성찰하며, 잘못되었다고 판단되면 지시를 받지 않아도 스스로 다시 시도합니다.

단일 패스 RAG (Single-pass RAG)에는 근본적인 결함이 있습니다. 첫 번째 검색 시도에 고착되어 결과가 어떻든 그대로 생성 과정을 진행한다는 점입니다. 검색된 청크 (chunks)가 실제로 정답을 포함하고 있는지 확인할 메커니즘이 없습니다. 이는 단순한 사실 관계 질의에는 작동하지만, 멀티 홉 (multi-hop) 질문, 모호한 의도, 그리고 순차적인 조회가 필요한 분석적 질의에서는 실패합니다.

아키텍처 (The Architecture)

Agentic RAG 시스템은 검색을 추론 루프 (reasoning loop)에서 사용할 수 있는 하나의 도구로 취급합니다. LLM은 무엇을 검색할지 결정하고, 돌아온 결과를 평가하며, 언제 멈출지를 결정합니다.

핵심 구성 요소는 검색과 생성 사이에 위치하는 **성찰 에이전트 (reflection agent)**입니다. 이 에이전트는 축적된 컨텍스트 (context)의 품질과 충분성을 평가하여 루프를 종료하거나, 개선된 쿼리 (query)와 함께 다시 루프를 돌립니다.

복잡도가 증가하는 순서에 따른 세 가지 패턴:

반복적 쿼리 개선 (Iterative Query Refinement) — 단일 도구를 사용하며, 패스마다 쿼리를 재작성함
멀티 도구 오케스트레이션 (Multi-Tool Orchestration) — 에이전트가 키워드, 시맨틱 (semantic), 하이브리드 (hybrid), 필터링 검색 중에서 선택함
계층적 분해 (Hierarchical Decomposition) — 플래너 (planner)가 멀티 홉 질의를 의존적인 하위 쿼리들로 분할함

라우팅 (Routing): 가장 중요한 결정

모든 쿼리를 Agentic 경로로 보내는 것은 가장 흔한 실수입니다. Agentic 검색은 2~~8초의 지연 시간 (latency)과 4~~12배의 비용을 추가합니다. 단순한 사실 관계 질의 (일반적인 트래픽의 60-75%)는 이를 통해 품질 향상을 얻지 못합니다.

하이브리드 라우터 (hybrid router)를 사용하세요. 먼저 결정론적 규칙 (deterministic rules, 정규식 패턴, 길이 휴리스틱, 키워드 신호 등)을 적용하고, 모호한 경우에만 LLM 분류를 사용하십시오. 라우팅에는 Haiku를 사용하세요. 이는 추론 작업이 아니라 분류 작업입니다.

성찰 에이전트 (Reflection Agent): 언제 멈출지 결정하기

성찰 에이전트의 판단 품질이 시스템 전체의 유용성을 결정합니다. 실제 질의를 바탕으로 이를 보정(calibrate)하십시오:

Iteration 1: 질의의 65-75%는 종료되어야 함 (첫 번째 패스에서 성공하는 단순 질의)
Iteration 2: 15-20% (한 번의 개선이 필요함)
Iteration 3: 5-10% (멀티 홉 (multi-hop) 또는 진정으로 모호한 질의)
Iteration 4+: 5% 미만 (강제 종료 — 이 사례들을 조사하십시오)

만약 상당한 트래픽이 최대 반복 횟수에 도달한다면, 라우팅 (routing)이 고장 났거나 코퍼스 (corpus)에 커버리지 공백이 있는 것입니다.

실패 격리 및 루프 경계 설정 (Failure Isolation and Loop Bounding)

명시적인 경계 설정이 없다면, 오작동하는 루프는 지연 시간 (latency)과 비용을 수용 불가능한 수준까지 높입니다. 타협할 수 없는 제한 사항:

max_iterations: 4 — 절대 초과하지 말 것
timeout: 12s — 전체 루프에 대한 실제 시간 (wall-clock)
min_new_chunks_per_iteration: 1 — 검색 (retrieval) 결과로 새로운 내용이 반환되지 않으면 즉시 중단
context token budget — 예산을 초과하는 청크 (chunk) 수락 중단

타임아웃 또는 최대 반복 횟수 도달 시: 누적된 컨텍스트 (context)와 주의 사항 (caveat)을 포함하여 생성하되, 절대로 500 에러를 반환하지 마십시오.

비용 현실 (Cost Reality)

단일 패스 RAG:     ~$0.003/request
에이전틱 (2회 반복): ~$0.006/request (2배)
에이전틱 (4회 반복): ~$0.010/request (3-4배)

만약 트래픽의 25%가 2.5배의 비용으로 에이전틱 방식으로 처리된다면 → 총 비용은 37% 증가합니다 (수용 가능). 만약 75%가 에이전틱 방식으로 처리된다면 → 비용은 3배가 됩니다 (수용 불가능할 가능성이 높음). 라우터 (router)가 귀하의 청구서를 제어합니다.

핵심 통찰 (The Key Insight)

관측 가능성 (observability)이 없는 에이전틱 시스템은 단일 패스 방식보다 개선된 것이 아니라, 디버깅하기 더 어렵고 더 비싼 파이프라인일 뿐입니다. 루프는 계측 (instrumented)되고, 경계가 설정되며, 그 동작이 질의 수준에서 이해될 때에만 품질 향상을 제공합니다.

책임 (accountability) 없는 자율성 (agency)은 그저 예측 불가능성일 뿐입니다.

전체 기사 읽기

이것은 에이전틱 RAG 아키텍처에 대한 저의 심층 분석 요약본입니다. 전체 기사에서는 프로덕션 구현을 포함한 완전한 시스템을 다룹니다:

👉 프로덕션을 위한 자기 수정형 검색 루프 설계 — 전체 기사

전체 기사에는 다음 내용이 포함되어 있습니다:

전체 에이전틱 RAG (Agentic RAG) 아키텍처 다이어그램 (라우터 (router) → 플래너 (planner) → 루프 (loop) → 생성 (generation))
멀티 홉 분해 (multi-hop decomposition)를 적용한 쿼리 플래너 (Query planner) 구현 (Python/Anthropic)
비동기 타임아웃 (async timeout) 및 중복 제거 (dedup)를 포함한 반복적 검색 루프 (Iterative retrieval loop)
성찰 에이전트 (Reflection agent) 프롬프트 및 캘리브레이션 (calibration) 패턴
Claude 도구 사용 (tool-use) API를 활용한 멀티 도구 오케스트레이션 (Multi-tool orchestration)
하이브리드 라우터 (Hybrid router) (규칙 우선 + LLM 폴백 (fallback))
5가지 하드 리밋 (hard limits)을 통한 루프 경계 설정 (Loop bounding)
컨텍스트 주의 사항 (context caveats)을 포함한 우아한 성능 저하 (Graceful degradation)
요청당 비용 모델 (단일 패스 vs 2회 반복 vs 4회 반복)
지연 시간 예산 (Latency budget) 분석 및 스트리밍 응답 (streaming response) 패턴
structlog을 활용한 구조화된 루프 텔레메트리 (Structured loop telemetry)
에이전틱 시스템을 위한 알림 메트릭 (Alerting metrics)
프로덕션 배포 체크리스트