AI Gateway 지출 예산 (spend budgets)을 이제 개별 API 키뿐만 아니라 팀(team) 또는 프로젝트(project) 단위로 범위를 지정할 수 있습니다. 특정 범위에 달러 한도를 설정하면, 게이트웨이가 해당 한도에 맞춰 지출을 측정하며, 한도에 도달하면 예산이 재설정되거나 한도를 높일 때까지 추가 요청을 중단합니다.

예산은 세 가지 범위 중 하나에 연결됩니다. 하나의 요청은 여러 예산에 해당할 수 있으며, 모든 예산을 통과해야 합니다. 만약 다른 예산에 여유가 있더라도, 단 하나라도 한도를 초과하면 해당 요청은 거부됩니다.

BYOK (Bring Your Own Key) 지출은 기본적으로 예산에 포함되지 않습니다.

AI Gateway Budgets 탭에서 예산을 설정하고 추적하세요. Overview(개요)에서는 모든 범위에 대한 지출을 한도 대비 상세히 보여주므로, 요청이 거부되기 전에 무엇이 한도에 근접했는지 또는 초과했는지 확인할 수 있습니다.

이메일 지출 알림 (email spend alerts)을 켜면, 사용량이 갱신 주기 내에서 한도의 50%, 75%, 또는 100%를 초과할 때 팀의 사용량 알림 수신자에게 통지합니다. 알림은 기본적으로 꺼져 있으며 정보 제공용입니다. 알림은 요청을 차단하지 않으며, 오직 예산 한도만이 요청을 차단합니다.

프로젝트 또는 API 키에 대해 기본 예산 (default budget)을 설정하면, 명시적인 예산이 없는 모든 항목은 자동으로 이를 상속받습니다. 명시적인 예산은 항상 기본 예산보다 우선합니다.

CLI에서 팀 및 프로젝트 예산을 설정, 검사 및 제거할 수 있습니다. 갱신 주기 (refresh period)는 daily, weekly, monthly (기본값), 또는 누적 한도를 위한 none입니다.

자세한 내용은 budgets documentation을 읽어보세요.

Read more

Scopes (범위)

Manage budgets in the dashboard (대시보드에서 예산 관리)

Manage budgets from the CLI (CLI에서 예산 관리)