모든 "상위 N개 AI 게이트웨이" 목록은 처음에 잘못된 질문에 답합니다. 어떤 것이 가장 많은 제공업체를 보유하고 있는지 또는 지연 시간(latency)이 가장 낮은지는 여러분이 실제로 해결하려는 문제가 무엇인지보다 덜 중요하며, 대부분의 팀은 게이트웨이가 무엇을 해야 하는지 적어보기도 전에 게이트웨이를 선택합니다. 여기 먼저 검토할 가치가 있는 체크리스트와 각 옵션이 실제로 이 기준에 어떻게 부합하는지가 있습니다.

요약 (TL;DR)

• 게이트웨이를 실제로 차별화하는 여섯 가지 요소: 제공업체 커버리지 및 API 호환성, 배포 모델(deployment model), 거버넌스 (RBAC/예산/가드레일), MCP 및 도구 거버넌스, 관측성(observability), 그리고 벤더/로드맵 리스크.
• 대부분의 게이트웨이는 이 중 한두 가지에는 강점이 있지만 나머지는 취약합니다. 라우팅 및 캐싱(routing-and-caching) 도구가 둘 다 "AI 게이트웨이"라고 불릴지라도 거버넌스 도구는 아닙니다.
• TrueFoundry는 별도의 도구에서 조각들을 모을 필요 없이 이 여섯 가지를 모두 충족하며, 이것이 바로 전체 세트가 필요한 팀을 위해 아래에서 추천하는 이유입니다.

1. 제공업체 커버리지 및 API 호환성 (Provider coverage and API compatibility)

기본적인 질문: 얼마나 많은 제공업체가 있으며, 노출된 API가 OpenAI와 호환되어 기존 SDK를 base-URL 변경만으로 사용할 수 있는지, 아니면 새로운 클라이언트를 채택해야 하는지입니다. 대부분의 진지한 옵션들은 이제 이 기준을 통과합니다. LiteLLM은 100개 이상의 제공업체를 지원하고, Bifrost는 1,000개 이상의 모델을 주장하며, TrueFoundry는 1,000개 이상의 LLM 앞에 OpenAI 호환 스키마를 노출합니다. 이 기준은 이제 더 이상 누군가를 탈락시키는 요소가 아닙니다. 차별화 요소가 아닌, 기본 요건(table stakes)으로 취급하십시오.

2. 배포 모델 (Deployment model)

Managed SaaS, self-hosted, 또는 hybrid 방식입니다. 데이터 거주성(data residency)이나 컴플라이언스(compliance) 규정으로 인해 타인의 인프라를 통해 트래픽을 전송하는 것이 제한되는 경우, 이 기준은 선택지를 빠르게 좁혀버립니다. LiteLLM, Bifrost, 그리고 Portkey는 설계 단계부터 이러한 제약이 없는 self-hostable(자체 호스팅 가능) 방식입니다. Vercel AI Gateway와 Cloudflare AI Gateway는 managed-only(관리형 전용) 방식으로, 각각의 플랫폼에 종속되어 있습니다. TrueFoundry는 관리형(managed), hybrid, 또는 사용자의 VPC 내에서 완전히 self-hosted 방식으로 운영할 수 있습니다. 이는 나중에 벤더를 교체하지 않고도 운영 형태를 전환할 수 있는 옵션을 원하는 경우 매우 중요합니다.

3. 거버넌스 (Governance): RBAC, 예산, 가드레일 (guardrails)

이 지점에서 대부분의 게이트웨이가 두 진영으로 나뉩니다. 한 진영은 라우팅(routing)을 작업의 전부로 취급합니다. Cloudflare AI Gateway와 Vercel AI Gateway는 캐싱(caching), 재시도(retries), 지출 가시성(spend visibility)을 제공하지만, 팀별 RBAC(역할 기반 액세스 제어)나 한도를 초과하기 전에 요청을 차단하는 예산 강제 기능(budget enforcement)은 제공하지 않습니다. 다른 진영은 거버넌스를 일급 시민(first-class)으로 취급합니다. TrueFoundry는 팀 및 사용자 단위로 범위가 지정된 RBAC를 제공하며, 하드 블로킹(hard blocking)을 활성화하기 전 감사 우선(audit-first) 배포를 지원하는 예산 관리 기능을 갖추고 있습니다. 또한 PII(개인정보)/프롬프트 인젝션(prompt-injection)/콘텐츠 모더레이션(content-moderation) 가드레일을 별도로 구축해야 하는 것이 아니라 설정(configuration)의 일부로 제공합니다. LiteLLM과 Portkey 역시 이 부분에서 실질적인 거버넌스 기능을 갖추고 있으므로, 이 기준은 후보군을 좁혀주는 역할을 하지만 이 기준만으로 최종 결정을 내리지는 않습니다.

4. MCP 및 도구 거버넌스 (tool governance)

에이전트(agents)가 단순히 질문에 답하는 것을 넘어 실제로 무언가를 수행할 수 있는 도구(tools)를 호출하기 시작함에 따라, 점점 더 중요한 결정 요인이 되고 있습니다. 네이티브 MCP Gateway를 갖춘 게이트웨이는 등록된 모든 MCP 서버에 대해 인바운드(inbound) 및 아웃바운드(outbound) 인증(auth)을 처리하고, 파괴적인 도구 호출을 인간의 승인을 위해 일시 중지할 수 있게 하며, 각 도구 호출에 대한 전체 감사 추적(audit trail)을 제공합니다. 이는 단순히 LLM 트래픽만 라우팅하고 MCP 액세스는 각 개발자가 개별적으로 연결하도록 남겨두는 게이트웨이와 대조적입니다. 이 기준은 대부분의 "어떤 AI 게이트웨이를 사용할 것인가"에 대한 비교에서 완전히 생략되는 부분이며, 실제로 해당 솔루션을 사용한 지 1년이 지났을 때 가장 중요해지는 경우가 많습니다.

5. 관측 가능성 (Observability)

비용, 지연 시간(latency), 가드레일(guardrail) 지표가 이상적으로 사용자, 팀 또는 가상 계정별로 세분화되어야 하며, 팀이 이미 확인하고 있는 곳으로 내보낼(export) 수 있어야 합니다. TrueFoundry의 메트릭 대시보드는 OpenTelemetry 내보내기와 함께 LLM 및 MCP 트래픽을 통합하여 제공합니다. 대부분의 셀프 호스팅(self-hosted) 옵션은 사용자가 Langfuse, SigNoz 또는 이와 유사한 백엔드에 이를 직접 연결할 것을 요구하며, 이는 이미 해당 도구 중 하나를 운영 중이고 이를 시스템 기록(system of record)으로 유지하고 싶다면 괜찮은 선택입니다.

6. 벤더 및 로드맵 리스크 (Vendor and roadmap risk)

사람들이 문제가 터지기 전까지는 간과하는 부분입니다. Portkey는 2026년 3월에 게이트웨이를 오픈 소스로 공개했고, 그다음 달에 Palo Alto Networks가 인수 의사를 발표했습니다. Helicone은 2026년 3월에 Mintlify에 인수되어 유지 관리 모드(maintenance mode)로 전환되었습니다. 즉, 보안 패치는 계속되지만 활발한 기능 개발은 중단된 상태입니다. 이 두 사례가 현재 해당 도구들을 나쁘게 만드는 것은 아니지만, "이 도구가 1년 후에도 여전히 활발하게 개발될 것인가"는 비즈니스를 구축하고 있는 인프라에 있어 매우 실질적인 질문이며, 당신이 기울이고 있는 선택지를 포함하여 어떤 벤더에 대해서도 물어볼 가치가 있습니다.

TrueFoundry가 각 기준에 어떻게 부합하는가

단순히 "여섯 가지 기준을 모두 충족한다"라고 주장하며 넘어가는 대신, 요약이 아닌 문서를 바탕으로 각 기준에 대한 구체적인 주장을 다음과 같이 제시합니다:

1. 공급업체 커버리지 및 API 호환성 (Provider coverage and API compatibility). 하나의 OpenAI 호환 스키마(위에 링크됨)를 통해 1,000개 이상의 LLM을 지원하며, OpenAI 및 Anthropic 자체 클라이언트 라이브러리에 대한 즉시 사용 가능한 네이티브 SDK 호환성을 제공합니다. 또한 단순한 채팅 완성 (chat completions)뿐만 아니라 채팅 (chat), 임베딩 (embeddings), 이미지 (image), 오디오 (audio), 리랭크 (rerank), 그리고 실시간 (realtime) API를 지원합니다.

2. 배포 모델 (Deployment model). 관리형 (Managed), 하이브리드 (hybrid), 또는 귀하의 자체 VPC 내 완전 셀프 호스팅 (fully self-hosted, 위에 링크됨)이 가능하여, 나중에 컴플라이언스 (compliance) 요구 사항이 변경되더라도 처음에 선택한 배포 방식에 얽매이지 않습니다. 관리형 옵션 자체도 단일 장애점 (single point of failure)이 되지 않도록 14개 지역에 걸쳐 전 세계적으로 분산된 게이트웨이로 실행됩니다.

3. 거버넌스 (Governance). 사용자, 팀, 가상 계정 단위로 범위가 지정된 RBAC (역할 기반 액세스 제어); 차단 기능을 활성화하기 전에 감사 전용 (audit-only) 출시를 지원하는 예산 관리; 직접 구축할 필요 없이 설정만으로 가능한 PII (개인정보), 프롬프트 인젝션 (prompt-injection), 콘텐츠 모더레이션 (content-moderation) 가드레일 (guardrails) (모두 위에 링크됨); 그리고 허용/거부보다 더 세밀한 규칙이 필요한 팀을 위해 "업무 시간 중에만" 또는 "저위험 도구에만"과 같은 조건을 설정할 수 있는 Cedar 기반 정책을 제공합니다.

4. MCP 및 도구 거버넌스 (MCP and tool governance). MCP 게이트웨이 (위에 링크됨)는 인바운드 (클라이언트-게이트웨이)와 아웃바운드 (게이트웨이-서버) 인증을 별도로 처리하므로 자격 증명이 개발자의 머신에 남지 않습니다. 파괴적인 도구는 조용히 실행되는 대신 사람의 승인을 위해 일시 중지되도록 구성할 수 있으며, 도구 수준의 메트릭 (호출 횟수, 지연 시간, 에러율)은 단순히 게이트웨이 수준이 아니라 서버 및 개별 도구별로 추적됩니다.

5. 관측 가능성 (Observability). 메트릭 대시보드 (위에 링크됨)는 LLM 및 MCP 트래픽, 비용, 가드레일 결과, 라우팅 결정, 캐시 히트율 (cache hit rate)을 한곳에서 다루며, 팀이 이미 운영 중인 어떤 백엔드로든 OpenTelemetry 내보내기를 지원합니다.

데이터 액세스 규칙 (Data access rules)을 통해 누가 프로덕션(production) 요청 로그를 읽을 수 있는지, 혹은 개발/스테이징(dev/staging) 로그를 읽을 수 있는지를 제한할 수 있습니다. 이는 로그에 실제 프롬프트(prompts)와 완성된 답변(completions)이 포함되기 시작할 때 매우 중요한 요소입니다.

6. 벤더 및 로드맵 리스크 (Vendor and roadmap risk). 솔직히 이 부분은 모든 벤더가 어느 정도의 리스크를 안고 있기 때문에 명확하게 우위를 점하기는 어렵습니다. TrueFoundry를 포함해서 말이죠. 이를 실제로 완화하는 방법은 다음과 같습니다: 게이트웨이 설정(모델, 가상 계정, 정책, 가드레일, 액세스 규칙)을 GitOps를 통해 Git 내의 YAML로 관리할 수 있으므로, 여러분의 설정이 벤더의 UI 상태에 종속(locked)되지 않습니다. 또한, 셀프 호스팅(self-hosted) 배포 옵션이 제공되므로 벤더와의 관계가 변하더라도 이미 자체 VPC 내에서 실행 중인 인프라를 통째로 들어낼 필요가 없습니다.

이것이 시사하는 점과 시사하지 않는 점

여섯 가지 기준을 모두 고려했을 때, 별도의 프로젝트들을 조합하지 않고 거버넌스(governance), MCP 도구 제어, 그리고 관측성(observability)을 한꺼번에 확보하고 싶으며, 규정 준수(compliance) 상황의 변화에 따라 매니지드(managed), 하이브리드(hybrid), 또는 셀프 호스팅(self-hosted) 옵션을 선택하고 싶다면 TrueFoundry가 최선의 선택입니다.

하지만 모든 사람에게 자동으로 정답이 되는 것은 아닙니다. 만약 선호도가 아니라 '무료 및 완전 오픈 소스'가 실제 요구사항이라면, LiteLLM이 여전히 정직한 해답입니다. 거버넌스 계층은 직접 더 많이 구축해야 하겠지만, 전체 스택을 직접 소유하며 소프트웨어 자체에 대해서는 비용을 전혀 지불하지 않습니다. 만약 트래픽이 전적으로 AI SDK를 사용하는 Vercel 기반 앱이라면, Vercel AI Gateway가 새로운 인프라 구축 부담을 줄여줍니다. 이미 Databricks 기반의 레이크하우스(lakehouse) 환경을 사용 중이라면, Unity AI Gateway를 통해 데이터 거버넌스와 동일한 카탈로그 내에서 AI 거버넌스를 유지할 수 있습니다(단, 해당 생태계에 종속된다는 비용이 따릅니다). 위의 여섯 가지 기준이 모든 팀에게 똑같이 중요하지는 않습니다. 이 기준들을 명시적으로 검토하는 목적은, 무엇인가를 선택하기 전에 어떤 기준이 실제로 여러분에게 적용되는지를 파악하는 데 있습니다.

게이트웨이를 선택(또는 전환)할 때 실제로 중요했던 점을 기준으로 본다면, 여러분은 이 6가지 중 무엇을 목록에 추가하거나 제거하시겠습니까?