프로덕션 환경에서의 AI 기술: Bedrock AgentCore Web Search를 통한 AI 조정 격차 해소

Originally published at twarx.com - 전체 대화형 버전은 그곳에서 읽어보세요.

최종 업데이트: 2026년 6월 20일

대부분의 AI 기술 워크플로우는 완전히 잘못된 문제를 해결하고 있습니다. 사람들은 어떤 모델을 사용할지에 집착하지만, 실제 병목 현상인 '적절한 시점에 신선하고 근거 있는 데이터(grounded data)를 에이전트(agent)에 전달하는 것'은 해결되지 않은 채로 남아 있습니다. 가장 빠르게 움직이는 팀들은 AI 기술의 성숙도가 더 이상 모델의 선택 문제가 아니라 오케스트레이션 (orchestration)의 문제라는 것을 깨달았습니다. 수십 개의 프로덕션 에이전트 스택을 감사한 결과, 저는 패턴이 놀라울 정도로 일관적이라는 것을 말할 수 있습니다. 에이전트가 프로덕션 환경에서 실패하는 이유는 모델 때문인 경우가 거의 없습니다.

AWS는 최근 Amazon Bedrock AgentCore의 Web Search를 출시했습니다. 이는 에이전트가 실행 중에 라이브 웹을 쿼리할 수 있게 해주는 관리형 프리미티브 (managed primitive)입니다. 이것이 지금 중요한 이유는 실시간 그라운딩 (real-time grounding)이 작년 가격을 환각 (hallucinate)하는 에이전트와 실제로 계약을 성사시키는 에이전트 사이의 차이를 만들기 때문입니다.

이 글을 다 읽을 때쯤이면, 여러분은 AgentCore Web Search가 프로덕션 에이전트 스택에 어떻게 통합되는지, 비용은 얼마인지, 그리고 이러한 시스템을 조용히 파괴하는 조정 실패 (coordination failures)가 무엇인지 정확히 알게 될 것입니다.

Amazon Bedrock AgentCore Web Search는 추론 모델 (reasoning model)과 오픈 웹 사이에 실시간 검색 레이어를 삽입하며, 이는 대부분의 에이전트 스택에서 누락되었던 프리미티브입니다. Source

개요: Bedrock AgentCore Web Search의 실제 정체

Amazon Bedrock AgentCore는 AI 에이전트를 대규모로 배포하고 운영하기 위한 AWS의 프레임워크 불가지론적 (framework-agnostic) 런타임입니다. Web Search는 이 프레임워크의 최신 내장 도구로, LangChain, CrewAI 또는 Strands SDK를 사용하여 구축했는지와 관계없이 모든 에이전트가 실행 중간에 실시간 웹 쿼리를 실행하고 순위가 매겨진 인용 기반 결과를 받을 수 있게 해주는 관리형 기능입니다. AWS는 출시 발표와 함께 읽어볼 가치가 있는 Bedrock Agents 사용자 가이드를 통해 더 광범위한 런타임에 대해 설명하고 있습니다.

출시 소음 속에 묻혀 있는 핵심은 이것이 단순히 덧붙이는 검색 API가 아니라는 점입니다. 이것은 하나의 _조정 프리미티브 (coordination primitive)_입니다. AgentCore는 속도 제한 (rate limiting), 캐싱 (caching), 결과 순위 지정 (result ranking), 그리고 결정적으로 에이전트가 자신의 컨텍스트나 RAG 저장소를 사용하는 대신 언제 웹에 접속해야 하는지를 결정하는 복잡한 운영상의 문제들을 처리합니다. 이 결정 계층이야말로 대부분의 자체 제작 에이전트들이 무너지는 지점입니다.

이 기능이 해결하는 실패 모드를 생각해 보십시오. 각 단계의 신뢰도가 97%인 6단계 에이전트 파이프라인은 엔드 투 엔드 (end-to-end) 신뢰도가 약 83%에 불과합니다. 대부분의 팀은 제품을 출시한 후에야 이를 발견합니다. 여기에 오류를 알리지 않고 조용히 실패하는—즉, 문제를 알리지 않은 채 오래된 정보나 빈 결과를 반환하는—웹 검색 단계를 추가하면, 다운스트림 추론 (downstream reasoning)이 잘못된 그라운드 트루스 (ground truth)를 바탕으로 작동하게 되어 신뢰도가 더욱 급락하게 됩니다.

AgentCore Web Search는 출시 시점에 AWS에 의해 프로덕션 준비 완료 (production-ready) 상태로 평가되었지만, 이를 언제 호출할지를 결정하는 오케스트레이션 (orchestration) 로직은 여전히 사용자의 책임입니다. 도구는 관리형이지만, 판단은 그렇지 않습니다.

기본적으로 제공되는 기능: 결정론적 지연 시간 예산 (AWS는 캐시된 도메인에 대해 p95 기준 2초 미만을 목표로 함), 에이전트가 출처를 인용할 수 있도록 하는 자동 인용 추출 (automatic citation extraction), 그리고 금융 에이전트와 마케팅 에이전트가 서로 다른 검색 권한을 가질 수 있도록 하는 IAM 범위의 액세스 제어 (IAM-scoped access controls)입니다. 무료로 제공되지 않는 것: 에이전트가 이미 알고 있는 정보를 위해 웹을 검색하는 것을 방지하는 조정 로직 (coordination logic)입니다. 바로 이 지점에서 비용과 지연 시간이 조용히 폭발합니다.

이 가이드는 Web Search를 단순한 기능이 아니라 더 깊은 시스템 문제의 진입점으로 다룹니다. 즉, 유능한 AI 기술을 보유하는 것과, 에이전트가 도구, 메모리, 그리고 추론 (reasoning)을 신뢰할 수 있는 결과로 조정(coordinate)하는 것 사이의 격차를 다룹니다. 이 문제에 이름을 붙여 봅시다.

새롭게 명명된 프레임워크

AI 조정 격차 (The AI Coordination Gap)

AI 조정 격차 (AI Coordination Gap)란 개별 AI 구성 요소(모델, 도구, 검색기 (retrievers))의 원시 능력과, 이들을 신뢰할 수 있고 지연 시간이 낮은 결과로 오케스트레이션 (orchestrate)하는 시스템의 능력 사이에서 벌어지는 거리를 의미합니다. 이는 최첨단 모델을 보유한 팀들이 왜 여전히 프로덕션 환경에서 실패하는 에이전트를 출시하는지를 설명해 줍니다.

AI 조정 격차가 실제 병목 현상인 이유

업계는 2024년과 2025년을 모델 능력 경쟁에 쏟아부었습니다. 2026년 중반에 이르면 OpenAI, Anthropic, Google의 프런티어 모델 (frontier models)들은 성능 차이가 거의 없어지므로, 모델의 능력이 작동하는 제품을 만드는 데 방해가 되는 요소가 되는 경우는 드물 것입니다. 당신과 작동하는 제품 사이를 가로막고 있는 것은 바로 조정 (coordination)입니다.

AI 에이전트로 승리하는 기업은 가장 많은 GPU를 가진 기업이 아닙니다. 언제 검색할지, 언제 기억할지, 언제 질문할지, 그리고 언제 멈출지를 결정하는 조정 문제를 해결한 기업입니다.

Web Search는 이를 구체화합니다. 웹을 쿼리(querying)하는 능력 자체는 사소합니다. 문제는 조정(coordination) 질문들입니다. 에이전트가 지금 검색을 해야 할까요, 아니면 자신의 파라미터 지식(parametric knowledge)을 사용해야 할까요? 만약 검색한다면, 충분한 정보를 얻기까지 몇 번의 쿼리가 필요할까요? 자신의 RAG 저장소와 모순되는 새로운 웹 검색 결과가 나왔을 때 이를 어떻게 조화시킬까요? 한 세션 내에서 동일한 내용을 세 번이나 검색하는 상황을 어떻게 방지할까요? 이 각각은 조정 결정(coordination decision)이며, 이 각각이 격차가 발생하는 지점입니다.

~83%
단계별 97% 신뢰도를 가진 6단계 파이프라인의 엔드투엔드(End-to-end) 신뢰도
[arXiv 복합 오류 분석, 2025](https://arxiv.org/abs/2305.10601)
...

대부분의 사람들이 에이전트형 AI(agentic AI) 기술에 대해 잘못 알고 있는 점은, 다음 모델이 출시되면 신뢰성 격차가 해소될 것이라고 믿는 것입니다. 그렇지 않습니다. 오케스트레이션 레이어(orchestration layer)가 모호한 상태를 전달한다면, 더 똑똑한 모델이라 할지라도 여전히 잘못된 도구 호출(tool-call) 결정을 내립니다. 격차는 파라미터(parametric)의 문제가 아니라 아키텍처(architectural)의 문제입니다.

시각화된 AI 조정 격차(AI Coordination Gap): 모델의 능력은 가파르게 상승한 반면, 시스템 수준의 조정 신뢰도는 거의 움직이지 않았습니다. 이는 2026년의 결정적인 프로덕션 과제입니다. 출처

조정된 웹 검색 에이전트의 5가지 레이어

AgentCore Web Search를 통해 AI 조정 격차를 해소하기 위해, 저는 프로덕션 에이전트를 다섯 가지 명명된 레이어로 나눕니다. 각 레이어는 조정 경계(coordination boundary)이며, 결정이 내려지고 실패가 숨어드는 지점입니다.

레이어 1: 의도 라우터 (The Intent Router)

검색이 수행되기 전에, 에이전트는 질문에 웹 검색이 실제로 필요한지 _여부_를 결정해야 합니다. 이는 제가 감사(audit)한 모든 실패하는 에이전트들에서 가장 미비하게 구축된 레이어입니다. 사용자가 '우리의 3분기 환불 정책은 무엇인가요?'라고 묻는다면, 그것은 RAG (Retrieval-Augmented Generation)이지 웹 검색이 아닙니다. 사용자가 '오늘 우리 경쟁사가 무엇을 발표했나요?'라고 묻는다면, 그것은 웹 검색입니다. 의도 라우터 (Intent Router)는 쿼리를 분류하고 라우팅합니다. 이 단계를 건너뛰면 이미 자체 문서가 답변할 수 있는 질문에 대해서도 웹 호출 비용을 지불하게 되어, 비용과 지연 시간 (latency)이 모두 증가합니다.

레이어 2: 검색 실행기 (The Search Executor (AgentCore Web Search))

이것은 관리형 AWS 프리미티브 (primitive)입니다. 검색 의도를 받아 쿼리를 발행하고, 재시도 (retry) 및 속도 제한 (rate limits)을 처리하며, 추출된 인용 (citations)이 포함된 순위가 매겨진 결과를 반환합니다. 관리형 서비스이기 때문에 재시도 루프를 직접 작성하거나 단일 검색 제공업체의 장애를 걱정할 필요가 없습니다. 실행기 (Executor)의 역할은 좁고 신뢰할 수 있습니다. 즉, 의도를 근거 있고 인용된 증거로 변환하는 것입니다.

레이어 3: 조정 레이어 (The Reconciliation Layer)

최신 웹 검색 결과는 귀하의 벡터 스토어 (vector store)나 모델의 학습 데이터와 충돌하는 경우가 빈번합니다. 조정 레이어 (Reconciliation Layer)는 어떤 소스가 승리할지를 결정합니다. 기본 휴리스틱 (heuristic): 시간에 민감한 사실(가격, 뉴스, 가용성)의 경우 웹이 승리하며, 독점적인 사실(귀하의 정책, 귀하의 데이터)의 경우 RAG가 승리합니다. 이 레이어가 없다면, 에이전트는 동일한 응답 내에서 두 가지 모순된 사항을 자신 있게 말하게 됩니다. 이는 고객 대상 에이전트에서 신뢰를 파괴하는 가장 치명적인 실패 모드입니다. 저는 이 레이어 없이는 고객 대상 에이전트를 출시하지 않을 것입니다.

레이어 4: 메모리 코디네이터 (The Memory Coordinator)

AgentCore에는 관리형 메모리가 포함되어 있습니다. 메모리 코디네이터 (Memory Coordinator)는 하나의 세션 내에서 에이전트가 이미 찾은 내용을 다시 검색하지 않도록 보장하며, 세션 간에는 안정적인 결과를 캐싱 (caching)합니다. 미숙한 에이전트는 한 번의 대화에서 동일한 경쟁사 가격 쿼리를 네 번이나 발행할 것입니다. 코디네이터는 중복을 제거하고 캐싱하여, 종종 검색량을 30-50%까지 절감합니다.

레이어 5: 추론 + 합성 레이어 (The Reasoning + Synthesis Layer)

마지막으로, Claude, GPT 또는 여러분이 연결한 어떤 모델이든 — 근거가 있는 증거(grounded evidence)를 인용이 포함된 답변으로 합성(synthesize)합니다. 이것이 모든 사람이 집중하는 레이어입니다. 하지만 동시에 프로덕션 실패에 대해 책임이 가장 적은 레이어이기도 합니다. 모델이 문제인 경우는 드뭅니다. 문제는 여러분이 모델에 전달하는 상태(state)입니다.

조정된 웹 검색 에이전트 (The Coordinated Web Search Agent): 요청에서 근거 있는 답변까지

  1

    **의도 라우터 (Intent Router)**

쿼리를 분류합니다: 웹 검색 필요 vs RAG vs 파라미터 기반(parametric). 출력은 라우팅 결정입니다. 약 150ms의 시간이 추가되지만 불필요한 다운스트림 호출을 방지합니다.

↓

  2
...

실시간 쿼리를 발행하고, 재시도/속도 제한(rate limits)을 처리하며, 인용이 포함된 순위가 매겨진 결과를 반환합니다. 캐시된 도메인에 대해 p95 <2s를 기록합니다. AWS에 의해 관리됩니다.

↓

  3
...

웹 검색 결과와 RAG/벡터 스토어(vector store)를 비교합니다. 최신성(freshness) 대 독점 데이터(proprietary) 우선순위 규칙을 적용합니다. 단일한 권위 있는 증거 세트를 출력합니다.

↓

  4
...

세션 내 검색의 중복을 제거하고, AgentCore Memory를 통해 세션 전반에 걸쳐 안정적인 결과를 캐싱합니다. 불필요한 검색량을 30-50% 절감합니다.

↓

  5
...

모델(Claude/GPT)이 근거 있는 증거를 인용이 포함된 답변으로 합성합니다. 응답과 함께 출처 속성(source attributions)을 사용자에게 반환합니다.

이 시퀀스는 매우 중요합니다: 검색 전의 라우팅은 낭비를 방지하고, 추론 전의 조정(reconciliation)은 모순을 방지하며, 모든 레이어에 걸친 메모리는 중복 비용을 방지합니다.

의도 라우터(Intent Router)와 조정 레이어(Reconciliation Layer)는 AWS가 여러분을 위해 구축해 주지 않는 두 레이어이며, 바로 이곳에서 80%의 조정 실패(coordination failures)가 발생합니다. AgentCore는 신뢰할 수 있는 배관(plumbing)을 제공하지만, 판단은 여전히 여러분의 몫입니다.

각 레이어의 실제 작동 방식: 실제 구현 사례

흔하고 가치가 높은 유스케이스인 경쟁 정보 에이전트(competitive-intelligence agent)를 통해 이를 구체화해 보겠습니다. 이 에이전트는 '현재 우리의 가격이 경쟁사 X와 어떻게 비교되는가?'와 같은 질문에 답합니다. 이 질문에는 독점 데이터(벡터 스토어에 저장된 우리의 가격)와 실시간 웹 데이터(그들의 공개 가격 페이지)가 모두 필요합니다.

Strands SDK와 AgentCore 런타임(runtime)을 사용하면 이러한 연결을 간단하게 구현할 수 있습니다. 아래는 Intent Router와 Search Executor의 조정(coordination) 과정을 단순화한 버전입니다. 프로덕션급 참조 구현을 원하신다면, 템플릿 패턴이 포함된 저희의 AI 에이전트 라이브러리를 탐색해 보세요.

# Bedrock AgentCore 상의 조정된 웹 검색 에이전트

from bedrock_agentcore import Agent, WebSearch, Memory  
from bedrock_agentcore.routing import IntentRouter

# Layer 2: 관리형 웹 검색 프리미티브 (managed web search primitive)

web_search = WebSearch(  
p95_latency_ms=2000, # AWS 관리형 지연 시간 예산 (latency budget)  
return_citations=True, # 출처 URL 추출  
cache_domains=True # 안정적인 도메인 캐싱  
)

# Layer 4: 중복 제거 및 캐싱을 위한 관리형 메모리 (managed memory)

memory = Memory(session_ttl=3600, dedup=True)

# Layer 1: 검색 전 라우팅

router = IntentRouter(rules={
'proprietary': 'rag', # 당사 정책/가격 -> 벡터 스토어 (vector store)  
'time_sensitive': 'web', # 경쟁사 뉴스/가격 -> 웹 (web)  
'general': 'parametric' # 모델이 이미 알고 있음 -> 둘 다 건너뜀  
})

agent = Agent(  
model='anthropic.claude-sonnet',  
tools=[web_search],  
memory=memory,  
router=router  
)