네이티브 Model Context Protocol (MCP) 지원을 갖춘 AI 게이트웨이는 LLM 요청과 AI 에이전트가 사용하는 외부 도구를 모두 관리할 수 있는 통합 제어 평면 (control plane)을 제공하여, 중앙 집중식 보안, 관측성 (observability), 그리고 비용 관리를 가능하게 합니다.

AI 에이전트는 단순한 텍스트 생성을 넘어 외부 시스템과의 상호작용이 필요한 복잡하고 다단계적인 작업을 수행하는 방향으로 점점 더 진화하고 있습니다. 이러한 진화는 AI 모델이 데이터베이스, API, 파일 시스템과 같은 외부 도구를 발견하고 사용할 수 있도록 하는 개방형 표준인 Model Context Protocol (MCP)에 의해 추진됩니다. 이러한 에이전트 시스템이 프로덕션 환경에서 점점 더 흔해짐에 따라, 그 동작을 관리하기 위한 중앙 집중식 아키텍처의 필요성이 매우 중요해지고 있습니다. AI 게이트웨이, 특히 MCP 게이트웨이로 기능하는 것은 이러한 필수적인 제어 평면 역할을 합니다.

이 글에서는 MCP 게이트웨이의 아키텍처를 살펴보고, 이것이 모델 및 도구 상호작용 전반에 걸쳐 어떻게 정책을 강제하는지 설명합니다. AI 에이전트를 구축하거나 배포하는 팀에게 이 아키텍처를 이해하는 것은 보안, 신뢰성 및 비용 제어를 보장하는 데 핵심적입니다. 이 아키텍처의 오픈 소스 예시로는 MCP 기능을 통합한 고성능 AI 게이트웨이 (AI gateway)인 Bifrost가 있습니다.

과제: 관리되지 않는 에이전트 및 도구 상호작용

중앙 게이트웨이가 없으면, AI 에이전트와 이를 호스팅하는 애플리케이션은 LLM 제공업체 및 다양한 도구 서버 모두에 직접 연결됩니다. 이러한 포인트 투 포인트 (point-to-point) 아키텍처는 몇 가지 중대한 과제를 발생시킵니다:

• 보안 사각지대 (Security Blind Spots): 각 연결은 개별적이고 모니터링되지 않는 채널입니다. 인증을 강제하거나, 보안 정책을 적용하거나, 에이전트가 권한이 없는 도구 또는 데이터에 접근하는 것을 방지할 중앙 집중식 지점이 없습니다.
• 관측성 부족 (Lack of Observability): 에이전트 활동에 대한 통합된 뷰를 확보하기 어렵습니다. 서로 다른 모델 및 도구 호출을 포함하는 다단계 작업을 추적하려면 여러 시스템의 로그를 하나로 엮어야 합니다.
• 일관되지 않은 거버넌스 (Inconsistent Governance): 속도 제한 (rate limiting), 예산 제어, 액세스 권한에 대한 정책을 각 구성 요소마다 별도로 구성하고 유지 관리해야 하므로, 불일치와 운영 오버헤드가 발생합니다.
• 도구 확산 (Tool Sprawl): 에이전트가 더 많은 도구를 사용할수록 자격 증명 (credentials), 버전 및 권한 관리가 기하급수적으로 복잡해지며, 이는 때때로 "N×M 통합 문제 (N×M integration problem)"라고 불립니다.

MCP 게이트웨이 아키텍처는 LLM 호출과 MCP 도구 서버 호출을 모두 단일화된 관리형 진입점 (entry point)을 통해 전달함으로써 이러한 문제들을 해결합니다.

MCP 게이트웨이 아키텍처의 핵심 구성 요소

Model Context Protocol (MCP) 자체는 AI 호스트 애플리케이션 (IDE 또는 채팅 클라이언트와 같은)과 하나 이상의 도구를 노출하는 MCP 서버 간의 상호 작용을 위한 클라이언트-서버 모델을 정의합니다. AI 게이트웨이는 이 상호 작용의 중간에 위치하여, AI 클라이언트에게는 서버 역할을 하고 백엔드 도구 서버에게는 클라이언트 역할을 수행합니다.

주요 아키텍처 구성 요소는 다음과 같습니다:

1. 통합 API 엔드포인트 (Unified API Endpoint): 게이트웨이는 모든 AI 관련 트래픽에 대해 단일하고 일관된 API를 노출합니다. 여기에는 LLM 호출을 위한 표준 /v1/chat/completions 엔드포인트와 도구 탐색 및 실행을 위한 전용 /v1/mcp/ 엔드포인트가 포함됩니다.
2. MCP 서버 어그리게이터 (MCP Server Aggregator): MCP 게이트웨이의 핵심 기능은 여러 개의 다운스트림 (downstream) MCP 서버에 연결하는 것입니다. 게이트웨이는 각 서버가 제공하는 도구를 탐색하고 이를 하나의 통합된 도구 매니페스트 (tool manifest)로 집계합니다. AI 클라이언트가 게이트웨이에 연결하면, 어떤 물리적 서버가 도구를 호스팅하는지 알 필요 없이 사용 가능한 모든 도구의 전체 카탈로그를 볼 수 있습니다.
3. 정책 및 거버넌스 엔진 (Policy and Governance Engine): 이는 게이트웨이의 중앙 두뇌 역할을 합니다. 보안, 액세스 제어 (access control), 비용 관리를 위한 설정 정보를 보유합니다. 게이트웨이를 통과하는 모든 요청은 이러한 정책에 따라 평가됩니다.
4. 가상 키 및 ID 관리 (Virtual Key & Identity Management): 가공되지 않은 API 키를 사용하는 대신, 모든 요청은 가상 키 또는 ID를 사용하여 인증됩니다. 이러한 가상 키는 게이트웨이 내의 특정 정책에 매핑되어, 특정 사용자나 에이전트가 어떤 모델, 도구 및 예산 할당량에 접근할 수 있는지 제어합니다.
5. 관측성 및 로깅 레이어 (Observability and Logging Layer): 게이트웨이는 모든 트랜잭션을 기록하여 중앙 집중식의 변경 불가능한 감사 추적 (audit trail)을 생성합니다. 여기에는 LLM 프롬프트 (prompts) 및 완료 (completions), 도구 호출 및 해당 파라미터 (parameters), 그리고 정책 결정 사항이 포함됩니다. 이 데이터는 모니터링 및 분석을 위해 Datadog 또는 Prometheus와 같은 플랫폼으로 내보낼 수 있습니다.

거버넌스 적용 방식

이러한 구성 요소들이 갖춰지면, AI 게이트웨이는 에이전트 워크플로 (workflow)의 모든 단계에서 일관된 거버넌스를 강제할 수 있습니다.

LLM 호출 거버넌스

애플리케이션이 게이트웨이를 통해 LLM 제공업체로 요청을 보낼 때, 다음과 같은 단계가 진행됩니다:

1. 인증 (Authentication): 게이트웨이는 들어오는 요청의 가상 키 (virtual key)를 검증합니다.
2. 정책 집행 (Policy Enforcement): 해당 키와 연결된 정책을 확인하여 요청된 모델이 허용되는지 검증하고, 구성된 가드레일 (guardrails)에 따라 요청을 확인하며, 예산 및 속도 제한 (rate limits)을 초과하지 않았는지 확인합니다.
3. 라우팅 및 부하 분산 (Routing and Load Balancing): 게이트웨이는 요청을 적절한 LLM 제공업체로 라우팅하며, 여러 제공업체의 API 키를 통해 부하 분산을 수행하거나 제공업체 장애 발생 시 대체 모델로 폴백 (fallback)할 수 있습니다.
4. 로깅 (Logging): 프롬프트 (prompt), 응답 (response), 성능 지표를 포함한 전체 트랜잭션이 관찰 가능성 (observability)을 위해 기록됩니다.

MCP 도구 호출 거버넌스 (Governing MCP Tool Calls)

도구 호출을 관리하는 것은 MCP의 구조를 활용한다는 점에서 유사하지만, 별개의 패턴을 따릅니다.

1. 인증된 연결 (Authenticated Connection): Claude Desktop 또는 커스텀 에이전트와 같은 AI 클라이언트가 가상 키로 인증하여 게이트웨이의 MCP 엔드포인트 (endpoint)에 연결을 설정합니다.
2. 필터링된 도구 탐색 (Filtered Tool Discovery): 게이트웨이는 해당 특정 가상 키에 사용할 수 있는 도구 목록을 반환합니다. 이는 중요한 거버넌스 단계입니다. 에이전트는 자신이 사용하도록 허용된 도구만을 _탐색 (discovers)_할 수 있습니다. 정책에 의해 제한된 도구는 에이전트에게 절대 노출되지 않습니다.
3. 도구 호출 호출 (Tool Call Invocation): AI 모델이 도구 호출을 제안하면, 호스트 애플리케이션이 이를 게이트웨이의 tool/execute 엔드포인트로 전송합니다.
4. 실행 정책 확인 (Execution Policy Check): 게이트웨이는 해당 특정 도구와 그 매개변수 (parameters)가 가상 키의 정책에 의해 허용되는지 다시 한번 검증합니다. 파일 시스템 도구에 대한 읽기 전용 액세스를 강제하거나 특정 데이터베이스 쿼리를 방지하는 등의 규칙을 집행할 수 있습니다.
5. 안전한 실행 (Secure Execution): 게이트웨이는 실행 요청을 적절한 다운스트림 (downstream) MCP 서버로 전달하며, 백엔드에서 필요한 인증을 처리합니다.
6. 중앙 집중식 감사 (Centralized Auditing): 도구 호출, 매개변수 및 결과가 기록되어 에이전트 작업에 대한 완전한 감사 추적 (audit trail)을 제공합니다.

이러한 흐름은 발견 (discovery) 및 실행 (execution) 단계 모두에서 거버넌스 (governance)가 적용되도록 보장하며, 에이전트 시스템 (agentic systems)을 위한 심층 방어 (defense in depth)를 제공합니다.

Bifrost와 같은 일부 게이트웨이는 가상 키 (virtual key) 단위로 도구 액세스를 관리할 수 있어, 관리자가 어떤 팀이 어떤 도구에 액세스할 수 있는지와 같은 세밀한 권한 (fine-grained permissions)을 정의할 수 있습니다. 이러한 동일한 거버넌스 및 보안 프레임워크는 Bifrost Edge를 통해 엔드포인트 (endpoint)까지 확장될 수 있습니다. Bifrost Edge는 직원 컴퓨터의 데스크톱 애플리케이션 및 개발자 도구에서 발생하는 AI 트래픽을 중앙 게이트웨이를 통해 라우팅하여, 모든 곳에서 정책이 적용되도록 보장합니다.

통합 게이트웨이 아키텍처의 이점

통합 MCP 게이트웨이 아키텍처를 채택하면 프로덕션 AI 에이전트를 관리하기 위한 강력하고 중앙 집중화된 솔루션을 제공합니다.

• 중앙 집중식 제어 (Centralized Control): 모델과 도구 모두에 대한 모든 보안, 컴플라이언스 (compliance) 및 예산 정책을 정의하고 강제할 수 있는 단일 지점을 제공합니다.
• 보안 향상 (Improved Security): 에이전트에게 가상 키를 통해 특정하고 취소 가능한 권한을 부여할 수 있어, 과도한 권한 부여로 인한 액세스 위험을 줄입니다. 모든 작업은 감사 (auditable) 가능합니다.
• 운영 단순화 (Simplified Operations): 개발자는 수십 개의 자격 증명 (credentials)과 클라이언트 설정을 관리할 필요 없이, 단일 엔드포인트에 에이전트를 연결하여 광범위한 모델과 도구에 액세스할 수 있습니다.
• 관측성 강화 (Enhanced Observability): 통합 로그는 에이전트 동작의 전체적인 모습을 제공하여 디버깅 (debugging) 및 성능 분석을 단순화합니다.
• 비용 관리 (Cost Management): 중앙 집중식 예산 및 속도 제한 (rate-limiting) 제어를 통해 복잡한 다단계 에이전트 작업에서 발생하는 비용 폭주를 방지합니다.

AI 에이전트가 더욱 유능해지고 자율성을 갖게 됨에 따라, 강력한 거버넌스의 필요성은 무엇보다 중요해집니다. 네이티브 MCP 지원을 갖춘 AI 게이트웨이는 이러한 강력한 시스템을 안전하고 효율적으로 관리하는 데 필요한 기초 아키텍처를 제공합니다.

출처

출처

• Anthropic: Model Context Protocol 소개
• Google Cloud: 모델 컨텍스트 프로토콜(MCP)이란 무엇인가요? 가이드
• Databricks: 모델 컨텍스트 프로토콜(MCP)이란 무엇인가요?
• Bifrost Docs: MCP 게이트웨이