멀티 프로바이더 스택에서의 사용자당 AI 비용 할당: FinOps 팀을 위한 인보이스 마감 전 요청 수준 트레이싱 (Tracing)

요약 (TL;DR)

AI 스택이 여러 프로바이더 (Provider)에서 실행되는 경우, 프로바이더의 인보이스 (Invoice)는 너무 포괄적입니다. 게이트웨이 (Gateway)에서 결정론적인 비즈니스 태그 (Business tags)를 강제하고, 이를 요청 메타데이터 (Request metadata)와 함께 전파하여 비용 할당 (Attribution)이 요청 수준 (Request-level) 및 소유자 인지 (Owner-aware) 방식으로 이루어지도록 하세요.

대부분의 팀은 "누가 무엇을 사용했는지"를 파악하기에는 이미 늦은 예산 검토 단계에서야 이 문제를 발견합니다. tenant_id, user_id, feature_id, request_id, correlation_id, model, provider를 포함하는 필수 스키마 (Schema)를 사용하십시오.

총 지출 대시보드가 팀에 실패하는 이유

프로바이더 과금 (Billing)은 운영 측면에서는 유용하지만, 대개 귀사의 분류 체계 (Taxonomy)가 결여되어 있습니다. OpenAI, Anthropic, Bedrock은 토큰 (Token) 및 요청 수준 (Request-level) 사용량은 노출하지만, 귀사의 비즈니스 모델은 노출하지 않습니다.

실질적인 비용 할당 루프 (Attribution loop)

1. 인그레스 (Ingress) 단계에서 태깅 (Tagging).
2. 태그 검증.
3. 재시도 (Retries) 과정 중에도 요청 메타데이터 유지.
4. 기능 (Feature), 사용자 (User), 경로 (Route), 모델 (Model)별로 지출 집계.

프로바이더 비교

과금 정책을 변경하기 전에 트레이스 (Traces)를 빠르게 검증할 수 있는 가벼운 방법은 agentcolony.org/auditor를 사용하는 것입니다.