코드에서 여러 개의 대규모 언어 모델(Large Language Model)을 호출한다면, 이미 여러분은 _AI 게이트웨이_가 해결하는 문제를 마주한 것입니다. 다만 아직 그 이름을 붙이지 않았을 뿐입니다.

여기 그 문제의 규모를 보여주는 수치가 있습니다. 구체적인 작업을 하나 가정해 봅시다: 10만 토큰 분량의 보고서를 생성하는 것입니다. 가장 저렴하고 성능이 좋은 모델에 보내면 약 $0.03가 들고, _동일한 작업_을 가장 비싼 프론티어(frontier) 모델에 보내면 약 $3.01가 듭니다. 이는 사용자가 거의 차이를 알아차릴 수 없는 출력물임에도 불구하고 106배의 격차입니다.

어떤 팀도 이 격차를 따라잡기 위해 애플리케이션을 열한 번이나 재작성하지 않습니다. AI 게이트웨이는 아무것도 재작성하지 않고도 이를 포착할 수 있는 방법입니다.

AI 게이트웨이가 실제로 무엇인지

마케팅 용어를 걷어내면, 이는 여러분의 코드와 모델 제공자 사이에 위치하는 프록시(proxy)입니다. OpenAI-호환 클라이언트를 OpenAI가 아닌 이 게이트웨이를 향하도록 지정합니다. 그리고 그 대가로 여러 모델에 대한 단일 엔드포인트와 하나의 키를 얻게 되며, 평소 직접 구축해야 했을 기능들—제공자 한 곳이 잠시 문제가 생겼을 때의 자동 장애 조치(automatic failover), 캐싱(caching), 팀별 사용량 제한 및 예산 책정(per-team rate limits and budgets), 사용량 및 비용 추적(usage and cost tracking), 그리고 가드레일(guardrails)—까지 얻게 됩니다.

이해 모델: 애플리케이션을 변경하는 것이 아니라 base_url만 변경합니다.

from openai import OpenAI

client = OpenAI(
...

가장 먼저 결정해야 할 유일한 사항: 자체 호스팅(self-host) 또는 호스팅(hosted)

가장 먼저 결정해야 할 유일한 사항: 자체 호스팅(self-host) 또는 호스팅(hosted)

자체 호스팅(Self-hosted), 당신의 인프라입니다. 당신의 키, 당신의 네트워크이며, 토큰당 중개 수수료가 없습니다. 오직 구동되는 박스에 대해서만 비용을 지불합니다. LiteLLM은 광범위한 기본 옵션입니다 (Python, 100개 이상의 제공업체, 가상 키 및 예산). 게이트웨이가 결코 병목 현상이 되어서는 안 된다면, Bifrost (Go)와 TensorZero (Rust)가 처리량(throughput)을 위해 구축되었습니다. 이미 Kubernetes를 사용하고 있다면, Kong, Higress 또는 Apache APISIX의 AI 플러그인은 운영해야 할 새로운 서비스를 하나 줄여줍니다.

중국 생태계에서는 new-api와 one-api가 같은 역할을 수행하며, 이들은 키 배포 및 청구 기능을 추가하여 _재판매(resell)_하거나 팀 전체에 걸쳐 접근을 측정해야 할 때 유용합니다.

엔지니어들이 지속적으로 놓치는 세 가지 사항

1. 추론 토큰은 출력으로 청구되며, 눈에 보이지 않습니다. 최신 추론 모델들은 숨겨진

3. 게이트웨이는 보안 경계(security perimeter)이므로, 마치 그런 것처럼 패치해야 합니다. 이 게이트웨이는 모든 프롬프트를 보고 모든 키를 보유합니다. 2026년에 LiteLLM은 두 가지 심각한 CVE(공개 취약점) — 사전 인증 SQL 삽입 및 비인증 RCE(원격 코드 실행)가 CISA의 악용된 취약점 목록에 올라왔습니다 — 를 배포했으며, 이들은 모두 v1.83.7에서 수정되었습니다. 여기서 얻을 교훈은