코딩 에이전트가 API 예산을 소진하는 것을 막는 6가지 가드레일

코딩 에이전트는 좋지만, 청구서를 보면 생각이 달라집니다. 단 하나의 '실패 테스트 수정' 작업만으로도 시스템 프롬프트, 파일 스니펫, 이전 도구 출력을 매번 재전송하면서 40회 이상의 모델 호출로 이어질 수 있습니다. 제가 지금 모든 에이전트 루프에 적용하는 여섯 가지 가드레일(guardrails)을 소개합니다. 이 가드레일은 어떤 모델이나 제공업체를 사용하든 상관없습니다.

1. 작업별 반복 횟수 제한 (Cap iterations per task)

모든 에이전트 프레임워크에는 최대 단계(max steps)에 대한 개념이 있습니다. 이를 명시적으로 설정해야 합니다. 저는 일반적인 작업을 위해 20~30번의 도구 사용 턴(tool turns)을 사용하고, 수렴하지 않으면 실행을 중단합니다. 25턴 동안 테스트를 수정하지 못한 에이전트는 성공하기보다는 보통 루프에 빠져 있는 상태입니다.

MAX_TURNS = 25
for turn in range(MAX_TURNS):
    step = agent.step()
...

2. 도구 출력을 모델로 다시 보내기 전에 간소화 (Trim tool output before it goes back to the model)

가장 큰 숨겨진 비용은 도구 출력물입니다. 전체 테스트 로그나 전체 파일을 전송하지 마십시오. 실패한 테스트 이름, 단언(assertion) 라인, 그리고 diff만 전송하세요.

def trim(output: str, limit: int = 4000) -> str:
    lines = [l for l in output.splitlines() if "FAIL" in l or "Error" in l or l.startswith("+", "-")]
    text = "\n".join(lines) or output
...

3. 작업 유형별 라우팅 (Route by task type)

계획 수립, 검색 및 요약에는 빠르고 저렴한 모델을 사용하고, 어려운 수정 작업에만 최첨단 모델(frontier model)을 사용하세요. OpenAI와 호환되는 클라이언트를 사용한다면 이는 호출마다 다른 model 문자열을 지정하는 것과 같습니다:

ROUTES = {"plan": "fast-model-id", "edit": "frontier-model-id", "review": "fast-model-id"}
client.chat.completions.create(model=ROUTES["edit"], messages=msgs)

사용하는 어떤 엔드포인트에서든 GET /v1/models를 통해 정확한 ID를 얻으세요. ID를 추측하는 것이 가장 흔한 설정 실패 원인입니다.

4. 재시도 횟수 제한 (Bound retries)

429 및 5xx 오류는 지수 백오프(exponential backoff)와 함께 재시도하되, 몇 번만 하고 두 번째 모델로 전환하거나 중단해야 합니다. 에이전트 루프 내부의 무제한 재시도는 진행 상황을 늘리지 않으면서 비용만 증폭시킵니다.

5. 첫 실제 실행 모니터링 (Watch the first real run)

에이전트를 하룻밤 동안 방치하기 전에, 제공업체의 요청 로그에서 실제 작업을 하나 지켜보세요. 몇 분 안에 통제 불가능한 컨텍스트 증가(runaway context growth), 반복되는 동일 호출, 그리고 잘못된 모델 라우팅을 발견할 수 있을 것입니다.

6. 예측 가능한 청구 모델 선택하기

토큰당 가격 책정은 공정하지만 루프에서는 변동성이 커서, 입력 토큰이 매 턴마다 증가하기 때문입니다. 이를 예측 가능하게 만드는 두 가지 방법이 있습니다:

• 직접 공급업체 계정에 설정하는 **예산 알림(Budget alerts)**과 엄격한 월별 한도.
• **정액제 플랜(Flat-rate plans)**으로, 일일 요청 허용량에 대해 고정된 월별 요금을 지불합니다. 여전히 상한선이 있지만, 청구 금액은 컨텍스트 크기에 따라 변동하지 않습니다. 예시로는 APIClaw가 있는데, 이곳은 정액 월간 플랜과 여러 모델 패밀리에서 하나의 키를 사용하는 OpenAI 호환 게이트웨이입니다 (공개: 제가 구축한 것이며, OpenAI나 Anthropic과는 독립적이고 제휴되지 않았습니다).

사용량이 적거나 퍼스트파티 공급업체 계약이 필요한 경우, 직접 API를 사용하고 예산 알림을 활용하세요.

체크리스트

• 턴 제한 설정(Turn cap set)
• 도구 출력 자르기(Tool output trimmed)
• 계획 수립에는 저렴한 모델, 편집에는 최첨단 모델 사용
• 폴백(fallback)을 갖춘 제한된 재시도 횟수(Bounded retries)
• 로그에서 감독 실행(supervised run) 하나 확인
• 예측 가능한 청구서

여러분의 에이전트에서는 어떤 가드레일을 사용하고 계신가요? 제가 놓치고 있는 부분이 있다면 듣고 싶습니다.