LLM 비용을 줄이는 방법

저렴한 토큰 (tokens)이 통제 불능의 에이전트 (agents) 문제를 해결해주지는 않습니다.

그것들은 일반적인 실행 비용을 낮춰줄 뿐입니다.

하지만 다음과 같은 요인들로 인해 비정상적인 실행은 여전히 막대한 비용을 발생시킬 수 있습니다:

재시도 루프 (retry loops)
긴 컨텍스트 (long context)
도구 호출 (tool calls)
진전 없는 단계 (no-progress steps)
알 수 없는 모델 가격 책정 (unknown model pricing)

캐싱 (Caching)과 라우팅 (routing)은 예상 비용을 줄이는 데 도움이 됩니다.

런타임 가드레일 (Runtime guardrails)은 예기치 않은 비용을 차단합니다.

이 차이가 중요합니다.

차세대 AI 에이전트 스택 (AI-agent stack)은 실패 후의 더 나은 로그 (logs)뿐만 아니라, 실행 전의 지루할 정도로 철저한 제어 장치 (controls)가 필요합니다.

만약 에이전트가 무인으로 실행될 수 있다면, 킬 스위치 (kill switch)가 필요합니다.
https://github.com/salimassili62-afk/ai-costguard