대규모 조직은 여러 벤더로부터 동시에 대규모 언어 모델(LLMs)을 사용하며, 각 모델은 고유한 API 방언(dialect), 자격 증명 모델(credential model), 스트리밍 프로토콜 및 가격 책정 방식을 가지고 있습니다. 이러한 이질성은 통합될 경우 자격 증명 확산(credential sprawl), 형식 종속성(format lock-in), 무제한 지출(unbounded spend) 및 일관성 없는 거버넌스를 초래합니다. 우리는 PayPal에서 엔터프라이즈 LLM 트래픽의 관리되는 진입점인 Cosmos LLM Gateway의 설계와 운영 사례를 제시합니다. Envoy를 기반으로 구축된 이 게이트웨이는 레이턴시 프로파일에 따라 작업을 분할 처리합니다. 즉, I/O 바운드 제어 결정(인증, 자격 증명 브로커링, 정책 및 예산 평가)은 프로세스 외부의 외부 처리 서비스에서 실행되며, 와이어 형식 변환(wire-format translation), 토큰 계량화(token metering), 프롬프트 캐시 최적화(prompt-cache shaping)는 Rust WebAssembly 필터로서 인-프록시(in-proxy)에서 실행됩니다. 따라서 기본적으로 스트리밍 응답 본문 청크가 프로세스 외부 호출을 기다리는 일이 없습니다. 모델, 제공업체 및 가격은 코드라기보다는 주로 검증된 데이터입니다. 거버넌스는 Open Policy Agent에 의해 평가되는 선언적 정책이며, 역할 기반 작성(role-scoped authoring), 승인, 파일럿 테스트, 섀도우 모드 배포, 사용 알림 및 버전 관리 정책 번들을 통해 관리됩니다. 필요로 하는 사용 사례의 경우, 데이터 손실 방지 계층(data-loss-prevention layer)을 통해 민감한 콘텐츠가 제공업체에 도달하기 전에 차단, 마스킹 또는 가명화할 수 있습니다. 지출 범위는 모델별 사용 카운터에 대한 뷰이므로, 새로운 예산은 이전 없이 해당 창에 이미 기록된 지출에 적용됩니다. 2026년 9월 기준으로 이 게이트웨이는 12,000명 이상의 개발자와 수백 개의 비즈니스 사용 사례에 서비스를 제공하며, 100개 이상의 모델을 통해 하루 약 2,000억 토큰을 처리하고 있으며, 비즈니스 측면에서 99.999%의 가용성을 보장합니다. 합성 업스트림(synthetic upstream)을 대상으로 한 핵심 요청 경로에 대한 벤치마크 결과, 두 대의 4-vCPU 인스턴스에서 초당 2,200건 이상의 요청 처리 시 중앙값으로 4ms, p99로 11ms의 오버헤드를 추가하는 것으로 나타났습니다. 우리는 아키텍처, 정책 모델, 평가 및 배운 교훈을 보고합니다.