FinOps 팀이 멀티 테넌트 게이트웨이를 통해 요청별 AI 비용을 추적하는 방법

• 요청별 AI 비용 할당 (Per-request AI cost attribution)은 대략적인 예산 추적과 방어 가능한 비용 재청구 (chargeback) 사이의 차이를 결정짓습니다.
• 멀티 테넌트 게이트웨이 (Multi-tenant gateways)는 테넌트 (tenant), 경로 (route), 모델 (model), 그리고 토큰 (token) 데이터를 동시에 캡처하지 않으면 실제 과금 경로를 숨깁니다.
• 벤더 비용 API (Vendor cost APIs)는 유용하지만, 요청 원장 (request ledger)을 보존하기보다는 보통 사용량을 버킷 (buckets) 단위로 요약합니다.
• 가장 신뢰할 수 있는 패턴은 요청 ID (request IDs)에 트레이스 ID (trace IDs), 그리고 정규화된 토큰 및 가격 메타데이터 (normalized token and pricing metadata)를 결합하는 것입니다.
• 훌륭한 할당 시스템은 대시보드보다 감사 가능성 (auditability)을 최우선으로 최적화합니다.

AI 비용 재청구를 위해 요청별 AI 지출이 중요한 이유

FinOps 팀은 일부 공유 인프라에 대해 모호한 월간 클라우드 청구서는 용인할 수 있습니다. 하지만 모호한 AI 청구서는 대개 용인할 수 없습니다. 대규모 언어 모델 (Large language model, LLM) 트래픽은 간헐적이며 (bursty), 모델 가격은 제공업체와 티어 (tier)에 따라 변동되고, 하나의 플랫폼 팀이 동시에 여러 내부 애플리케이션의 요청을 프록시 (proxy)할 수 있습니다. 만약 요청 수준에서 AI 비용을 추적하지 않는다면, 매달 다음과 같은 동일한 논쟁으로 끝날 것입니다: 한 팀은 중앙 플랫폼이 비용을 과다 청구했다고 주장하고, 다른 팀은 자신들의 비용이 공유 실험에 속한다고 말하며, 재무 팀은 근거 없는 지출 증가 곡선만을 보게 됩니다.

요청별 할당은 AI 청구서를 증거 추적 경로 (evidence trail)로 전환함으로써 이 문제를 해결합니다. 각 요청은 테넌트 (tenant), 사용자 (user), 워크로드 (workload), 모델 (model), 경로 (route), 토큰 수 (token count), 그리고 계산된 가격 (computed price)과 연결됩니다. 이를 통해 다음과 같은 구체적인 질문에 답할 수 있습니다: 어제 GPT 지출 중 어떤 제품이 가장 많이 소비했는가, 새로운 프롬프트 템플릿 (prompt template)이 출력 토큰을 40% 증가시켰는가, 혹은 폴백 경로 (fallback route)가 저마진 트래픽을 프리미엄 모델로 조용히 밀어 넣었는가 등입니다.

멀티 테넌트 AI 게이트웨이가 LLM 비용 추적을 어렵게 만드는 이유

직접적인 제공업체(Provider) 통합만으로도 이미 까다로운 상황입니다. 여기에 멀티 테넌트(Multi-tenant) AI 게이트웨이가 추가되면 모호함의 층위가 하나 더 생깁니다. 하나의 공유 게이트웨이는 종종 수많은 제품과 수많은 제공업체 사이에 위치합니다. 이 게이트웨이는 헤더를 재작성(Rewrite)하고, 자격 증명(Credentials)을 교체하며, 실패 시 재시도(Retry)를 수행하고, 지연 시간(Latency)에 따라 라우팅하며, 정책에 따라 모델을 전환할 수도 있습니다. 이 모든 기능은 신뢰성(Reliability)을 높여주지만, 동시에 나중에 비용 청구(Billing) 내역을 재구성하는 것을 더 어렵게 만듭니다.

실무적인 진단 워크플로우 (Practical diagnostic workflow)

비용 배분(Chargeback) 수치가 잘못된 것처럼 보일 때, 송장(Invoice)부터 확인하지 마십시오. 논란이 되는 단 하나의 요청에서 시작하여 점진적으로 범위를 넓혀가야 합니다. 첫째, 엔지니어링 팀과 재무 팀이 모두 발생했다고 동의할 수 있는 단일 요청을 식별하십시오. 앱 요청 ID(Request ID), 타임스탬프(Timestamp), 테넌트(Tenant), 그리고 예상된 모델 경로(Model route)를 추출합니다. 둘째, 해당 요청을 게이트웨이 트레이스(Gateway trace)와 결합하십시오. 최종적으로 결정된 제공업체/모델을 확인하고, 재시도(Retries)나 폴백(Fallbacks)이 있었는지 점검합니다. 셋째, 토큰 기록(Token record)을 검사하십시오. 만약 제공업체와 게이트웨이의 기록이 일치하지 않는다면, 두 기록을 모두 저장하되 명문화된 규칙에 따라 하나를 권위 있는 데이터(Authoritative)로 지정하십시오.

요약 (Summary)

요청별 AI 비용 귀속(Per-request AI cost attribution)은 멀티 테넌트 환경에서 FinOps AI 거버넌스를 위한 제어 평면(Control plane)입니다. 벤더의 송장은 무엇이 외부로 나갔는지를 알려줍니다. 하지만 여러분의 게이트웨이와 트레이스 데이터는 그것이 '왜', '누구에게', 그리고 '어떤 라우팅 결정' 하에 발생했는지를 설명해 줍니다.

출처: OpenAI organization usage reference, OpenTelemetry GenAI semantic conventions