AI Gateway가 이제 모든 요청에 대해 OpenTelemetry 트레이스(trace)를 생성합니다. Pro 및 Enterprise 팀은 Vercel Drains를 통해 이러한 트레이스를 Braintrust, Dash0, Kubiks, Sentry, Statsig에 대한 네이티브 통합을 포함하여 모든 OTLP/HTTP 호환 엔드포인트로 전송할 수 있습니다.

각 트레이스는 다음을 포함한 전체 요청 라이프사이클(lifecycle)을 보여줍니다:

• 모델 및 제공자 라우팅 (Model and provider routing)
• 폴백(Fallback) 및 재시도(retry) 시도
• 토큰 사용량 및 비용
• 첫 번째 토큰까지의 시간(Time to first token), 요청 지속 시간(request duration) 및 응답 상태(response status)
• 프로젝트, 배포, API 키, 환경 및 커스텀 태그 속성 부여

Trace Drains에는 프롬프트(prompt) 또는 완료(completion) 콘텐츠가 포함되지 않습니다. 샘플링(Sampling) 제어를 통해 각 드레인(drain)으로 내보낼 트래픽 양을 선택할 수 있습니다.

AI Gateway 트레이스 비용은 각 드레인으로 전달되는 트레이스 1,000개당 $0.05이며, 여기에 데이터 전송 GB당 $0.50의 표준 Drains 요율이 추가됩니다. AI Gateway가 여러 제공자(provider)에 대해 시도하더라도, 성공적인 드레인 전달당 요청 1회로 계산됩니다. 전달에 실패한 경우에는 트레이스 비용이 발생하지 않습니다.

팀 설정에서 Trace Drain을 설정하거나 AI Gateway Drains 설정 문서에서 자세히 알아보세요.

더 읽어보기