$37짜리 청구서가 AI 에이전트의 지출 한도를 설정하는 법을 가르쳐주다

Originally published on dyordo.com.

지난달에 나는 연구 에이전트에게 공유된 제한이 있는 API 키를 주고 경쟁사 모니터링 작업을 맡겼다. 이 작업은 작았다: 하루 최대 50회 호출이며, 각 호출 비용은 소수점 몇 센트에 불과했다.

셋째 날 밤에는 청구서에 $37이라는 금액이 찍혀 있었다.

하위 작업(subtask) 하나가 오류 루프에 빠진 것이다. 호출 실패 → 에이전트가 매개변수를 조정하고 재시도 → 다시 실패. 나의 50회 호출 제한은 이 상황을 막지 못했다. 왜냐하면 각 엔드포인트마다 자체 할당량(quota)이 있었고, 내 제한이 그 모든 것을 커버하지 못했기 때문이다.

$37이 대재앙은 아니다. 하지만 나는 에이전트들이 돈을 쓰는 방식을 한 번도 설계해 본 적이 없다는 것을 깨닫게 해준 계기가 되었다. 나는 각 에이전트에게 작동하는 카드를 준 것이지, 예산이 있는 계좌를 준 것이 아니었다.

지금 내가 하는 방식은 다음과 같다. 새로운 인프라가 필요하지 않다.

목적별로 예산을 분할하기 (Split the budget by purpose)

에이전트당 하나의 월간 숫자는 너무 뭉뚱그려져 있다. 나는 세 개의 바구니를 사용한다:

• 탐색(Exploration): API를 시도하는 데 주당 $5에서 $20.
• 프로젝트(Project): 경쟁사 목록의 가격을 스크래핑하는 것과 같은 단일 작업에 로드되는 고정 금액, 예를 들어 $10. 사용하지 않은 돈은 작업이 끝나면 돌아온다.
• 상향 조정/승인 요청(Escalation): 임계값을 초과하는 모든 것은 나의 승인이 필요하다. 에이전트가 질문한다. 그냥 지출하지 않는다.

에이전트가 시작하기 전에 제한을 설정하라. 과지출한 후에 잘라내는 것은 아무것도 가르쳐주지 못한다.

블랙리스트 대신 화이트리스트 사용하기 (Allow-list, don't block-list)

나는 예전에 모든 것을 허용하고 문제가 되는 서비스가 나타날 때마다 차단했다. 새로운 서비스는 항상 새로운 위험이었고, 나는 늘 뒤처졌다.

이제 기본적으로 아무것도 허용하지 않는다:

• OpenAI, Anthropic과 같은 이미 신뢰하는 서비스와 기존 데이터 소스로 시작한다.
• 새로운 서비스를 하나씩 추가하고 확인한 후에 사용한다.
• 에이전트가 새로운 서비스를 원하면 요청하게 한다.

화이트리스트에는 숫자도 포함된다. 호출당 및 일별 지출 한도를 설정한다.

건강한 총액만으로는 단일 거래에 대해서는 아무것도 알려주지 못합니다. 제가 운영하는 모든 에이전트 계정에는 엄격한 규칙이 있습니다. $2를 초과하는 단일 청구 건은 사람에게 전달됩니다.

게다가, 비정상적인 호출률, 실패율 또는 지출 속도는 계정을 동결시킵니다. 가장 저렴한 버전의 조건은 하나입니다. 에이전트는 예산(budget)이 0보다 크고 이상 징후 플래그가 설정되지 않았을 때만 지출할 수 있습니다.

에이전트에게 눈에 보이는 소유주를 부여하세요

에이전트가 타사 서비스를 호출할 때는 자신이 누구를 위해 일하는지 명시해야 합니다. 예를 들어, 익명 계정으로 나타나는 대신 yourname.cloudflare.pay와 같은 핸들(handle)을 사용하는 식입니다.

상인들은 알려진 소유주를 가진 에이전트에게 트라이얼 크레딧을 제공할 가능성이 더 높고, 문제가 있어 보이는 경우 차단하기보다는 이메일을 보낼 가능성이 더 높습니다. 사람들도 베어 IP와 포트가 아닌 yourname.com을 신뢰하는 이유가 같습니다.

이번 주에 해야 할 세 가지 일

1. 에이전트가 호출하는 모든 유료 서비스 목록과 각 서비스의 월별 비용을 작성하세요. 총액은 생각보다 높을 수 있습니다.
2. 주요 에이전트 각각에게 하나의 예산 금액을 지정하고, 메모가 아닌 코드로 이를 강제 적용하세요.
3. 에이전트마다 API 키를 분리하세요. 청구서를 분리하고 한도를 분리하면, 다른 것을 건드리지 않고도 하나를 중단시킬 수 있습니다.

이렇게 하는 데는 한 시간도 걸리지 않습니다.

하드 리밋(Hard limits)은 자유를 사줍니다

$10의 상한선으로 저는 에이전트가 어떤 것도 확인하지 않고 50개의 서비스를 시도하도록 할 수 있습니다. $1,000 계정에 제한이 없다면, 저는 새벽 2시에 청구서를 확인합니다.

그래서 저는 Cloudflare의 2단계 지갑(two-tier wallet) 설계를 좋아합니다. 이는