거버넌스가 필요해지는 이유

3개의 MCP 서버는 기억만으로 관리할 수 있습니다. 하지만 20개가 되면 시스템이 필요합니다.

기업 내 MCP 서버의 수가 증가함에 따라 다음과 같은 예측 가능한 문제들이 발생합니다:

• 디렉토리가 없어서 이미 존재하는 Jira 도구를 새로운 엔지니어가 또 만드는 경우
• 에이전트(Agent)가 현재 버전인 search_issues (v2.x) 대신 지원이 중단된(deprecated) search_jira 도구 (v1.x)를 호출하는 경우
• 도구 호출(tool call)이 실패했지만 로그가 남지 않아, 서버가 충돌한 것인지 인자(arguments)가 잘못된 것인지 불분명한 경우
• 어떤 서버의 어떤 도구가 비용을 발생시켰는지 가시성(visibility)이 없어 토큰 비용이 급증하는 경우

레지스트리(Registry)는 발견(discovery) 문제를 해결합니다. 라우팅(Routing)은 디스패치(dispatch) 문제를 해결합니다. 관측성(Observability)은 진단(diagnosis) 문제를 해결합니다.

MCP 레지스트리 (MCP Registry)

레지스트리는 MCP 서버의 위치, 버전, 기능(capabilities), 그리고 소유자(owners)를 담고 있는 기업용 디렉토리입니다.

# mcp-registry.yaml
servers:
  - id: jira-tools
...

레지스트리는 세 가지 문제를 해결합니다:

1. 발견 (Discovery): 새로운 에이전트(Agent)는 구두 전달에 의존하는 대신 레지스트리를 확인하여 어떤 도구를 사용할 수 있는지 파악합니다.
2. 지원 중단 신호 (Deprecation signaling): deprecated 상태와 migration_guide를 제공함으로써 에이전트 코드에 구체적인 마이그레이션 경로를 제시합니다.
3. 소유권 (Ownership): 모든 서버에는 소유자가 지정되어 있어, 문제가 발생했을 때 누구에게 연락해야 할지 알 수 있습니다.

도구 라우팅 전략 (Tool Routing Strategies)

에이전트(Agent)가 "Jira 티켓 검색"을 수행해야 할 때, 어떻게 적절한 서버를 찾을까요? 네 가지 전략이 있습니다:

전략 1: 정적 구성 (Static Configuration) (가장 단순함)

에이전트(Agent) 설정에 모든 서버를 직접 선언합니다:

{
  "mcpServers": {
    "jira": {
...

단순하고 예측 가능합니다. 하지만 새로운 서버를 추가하려면 모든 에이전트(Agent)의 설정 파일을 수동으로 업데이트해야 합니다.

전략 2: 도메인 기반 로딩 (Domain-Based Loading)

현재 작업과 관련된 서버만 로드합니다:

DOMAIN_SERVERS = {
    "engineering": ["jira-tools", "github-tools", "gitlab-tools"],
    "data": ["postgres-readonly", "bigquery-tools"],
...

불필요한 서버 시작 오버헤드(startup overhead)를 줄여줍니다. 각 에이전트(Agent)는 필요한 도구만 로드합니다.

전략 3: 임베딩 라우팅 (Embedding Routing) (의미론적 매칭)

Skill Series Article 06과 동일한 접근 방식 — 서버(Server) 설명을 임베딩(embed)하고, 사용자 요청을 임베딩하여, 가장 가까운 이웃(nearest neighbors)을 찾습니다:

def route_to_server(user_input: str, registry: list[dict]) -> list[str]:
    query_embedding = embedder.embed(user_input)
    scored = []
...

20개 이상의 서버가 있고 새로운 서버가 빈번하게 추가되는 환경에 적합합니다. Skill 라우팅(Skill routing)과 동일한 제한 사항이 적용됩니다: 동일한 도메인에 속한 서버들이 임베딩 공간(embedding space)에서 클러스터링(cluster)될 수 있습니다. 이를 구분하기 위해 설명(description)에 부정적 예시(negative examples)를 사용하세요.

전략 4: 계층적 라우팅 (Hierarchical Routing) (권장)

먼저 도메인(domain)별로 거친 필터링(Coarse-filter)을 수행한 다음, 해당 도메인 내에서 임베딩 매칭(embedding matching)을 실행합니다:

def hierarchical_route(user_input: str, registry: list[dict]) -> list[str]:
    # 레이어 1: LLM이 도메인을 빠르게 분류
    domain = llm_classify_domain(user_input)   # "engineering" / "data" / ...
...

관측성 (Observability): Langfuse 통합

트레이스(Trace)가 없다면 MCP 도구 호출(tool calls)은 블랙박스(black box)와 같습니다. 무언가 실패했을 때 왜 실패했는지 알 수 없습니다. 지연 시간(latency)이 급증할 때 어디서 발생하는지 알 수 없습니다. 토큰 비용이 증가할 때 어떤 도구가 원인인지 알 수 없습니다.

3계층 트레이스 구조 (Three-Layer Trace Structure)

from langfuse import Langfuse
from langfuse.decorators import observe, langfuse_context

...

세션 레벨 트레이스 (Session-Level Trace)

@observe(name="agent_session")
async def run_agent_session(user_input: str, session_id: str):
    langfuse_context.update_current_trace(
...

이 세션 내의 모든 도구 호출은 자동으로 세션 트레이스에 연결됩니다.

트레이스가 답해주는 것들

어떤 도구 호출이 가장 느린가?
  → latency_ms 기준으로 Span(Span)을 정렬

...

경고 규칙 (Alert Rules)

주요 지표(key metrics)를 경고 시스템(Grafana / Prometheus)에 연결하세요:

# Prometheus 경고 규칙
groups:
  - name: mcp_server_alerts
...

3단계 거버넌스 로드맵 (Three-Level Governance Roadmap)

레벨 1 — 개인/소규모 팀 (지금 즉시 수행):

• 모든 서버(Server)에 대해 id / version / owner / status를 포함한 mcp-registry.yaml 생성
• 각 서버의 README에 도구 목록과 사용 예시 작성

**레벨 2 — 팀 공유 (1-2주 이내):

• Git 내 레지스트리 (Registry) 관리, 변경 사항은 PR (Pull Request) 리뷰를 거침
• 모든 도구 호출(tool call)에 대한 Langfuse Trace 적용: 최소한 tool_name / latency / success 로그 기록
• 에러율(Error rate) 알림 설정

레벨 3 — 엔터프라이즈 거버넌스 (지속적 수행):

• 계층적 라우팅 (Hierarchical routing) (도메인 분류 + 임베딩 선택)
• 월간 서버 상태 보고서 (호출량, 에러율, 주요 사용자)
• 공식적인 지원 중단 (Deprecation) 프로세스 (공지 → 알림 → 90일 유예 기간 → 제거)

요약 (Summary)

1. 레지스트리 (Registry)는 발견 (Discovery)의 기반입니다: 레지스트리가 없다면 20개의 서버가 구전(word-of-mouth)에 의존하게 되며, 중복 개발과 버전 혼선이 불가피합니다.
2. 규모에 맞는 라우팅 전략 매칭: 3개의 서버에는 정적 설정 (static config)을 사용하고, 20개 이상의 서버에는 계층적 라우팅 (Hierarchical routing) (도메인 필터 + 임베딩 선택)을 사용하여 동일 도메인 내 임베딩 혼선 문제를 방지합니다.
3. 관측성 (Observability)은 블랙박스를 기록으로 바꿉니다: Langfuse의 세션 레벨(session-level) + 도구 호출 레벨(tool-call-level) Trace를 통해, 실패의 근본 원인은 '알 수 없음'에서 '대시보드에서 5초 만에 발견됨'으로 바뀝니다.

참고 문헌 (References)

• Langfuse MCP Integration
• MCP 시리즈 계획 문서: MCP Knowledge Series Outline

실제 엔터프라이즈급 워크플로우에서 검증된 AI 에이전트와 기술의 큐레이션 마켓플레이스인 PrimeSkills를 확인해 보세요. 불필요한 내용은 빼고, 실제로 작동하는 것들만 모았습니다.

저의 홈페이지에서 더 유용한 지식과 흥미로운 제품들을 찾아보세요.