AI 에이전트에 엄격한 지출 한도를 추가한 방법 (그리고 왜 로깅만으로는 충분하지 않은가)

유료 API를 호출하는 AI 에이전트를 구축해 보았다면, 아마 비용 제어(cost control)에 대해 고민해 보았을 것입니다. 대부분의 솔루션은 로깅(logging) 단계에서 멈춥니다. 즉, 에이전트가 무엇을 소비했는지 사후에 확인할 수는 있지만, 실행 도중에 실제로 이를 막을 수는 없습니다.

저는 더 강력한 것을 원했습니다. 비용이 청구된 후가 아니라, 청구가 발생하기 전에 에이전트를 차단하는 정책 말입니다.

콜백(callbacks)과 미들웨어(middleware)의 문제점

LangChain 콜백(callbacks), OpenAI 트레이스(traces), CrewAI 로그(logs)는 모두 관찰 가능성(observability) 도구입니다. 만약 에이전트가 밤새 200번 루프를 돌았다면, 아침에 로그에는 200개의 항목이 찍혀 있을 것입니다. 돈은 이미 사라진 후입니다.

HumanInTheLoopMiddleware와 같이 중단(interrupt) 기반의 접근 방식조차 어떤 도구가 위험한지 사전에 알고 있어야 합니다. 실제로 에이전트는 시간이 지나면서 새로운 도구를 습득하며, 중단 목록은 점차 어긋나게 됩니다.

실제로 작동하는 패턴

예산을 에이전트가 유료 작업을 수행하기 전에 호출하는 하나의 도구(tool)로 취급하십시오:

python
@function_tool
...