에이전트 기반으로 서비스하려면

요약

에이전트 기반 서비스를 위해 MCP, A2A, LLM 트래픽을 효율적으로 관리하는 AgentGateway를 소개합니다. 기존 API 게이트웨이의 한계를 넘어 긴 세션 유지, 도구 권한 관리, 멀티 LLM 통합 기능을 제공합니다.

에이전트 기반으로 서비스하려면
이거 꼭 알고 가야함

어제 구테상과 애기하다가 알게된건데

agentgateway

전통 API 게이트웨이로는 MCP A2A LLM 트래픽 제대로 못 다루는 문제를 풀려고 탄생

2025년 8월 Linux Foundation에 기부된 뒤 2026년 Agentic AI Foundation AAIF로 이동

왜 새로 만들었나

기존 게이트웨이는 짧은 요청 응답 중심인데

에이전트는 긴 세션 유지하면서 여러 MCP 서버로 팬아웃하고 서버가 먼저 이벤트를 밀어주고 세션마다 도구 권한도 달라짐

그냥 경로 보고 넘기는 방식으로는 한계가 명확했음

해결하려는 핵심 문제

에이전트-LLM 에이전트-도구 에이전트-에이전트 트래픽을 한곳에서 라우팅 보안 관찰
여러 LLM 프로바이더를 OpenAI 호환 API로 통합하고 예산 페일오버 제어

MCP 서버 여러 개를 하나로 묶어서 도구 페더레이션

A2A로 에이전트끼리 안전하게 협업

일반 HTTP gRPC 서비스까지 같은 프록시로 처리해서 AI용 게이트웨이 따로 안 둬도 됨

토큰 비용 추적 가드레일 RBAC 감사로그까지 엔터프라이즈급으로 관리

Rust로 만들어서 고성능 저지연에 집중
한 바이너리로 서비스 LLM MCP A2A 다 커버하는 게 목표

지금 상태

Linux Foundation AAIF 소속
Kubernetes Gateway API 지원
주간 다운로드 100만 넘고 다운로드 누적 700만 돌파
Solo Microsoft Adobe 등에서 실제 사용 중

AI 자동 생성 콘텐츠