2,300달러의 주말: AI Gateway에서 Fallback Routing이 잘못되었을 때 발생하는 일

단 한 줄의 잘못 설정된 fallback 라인이 월 40달러였던 API 청구서를 48시간 만에 2,300달러로 만들었습니다. 무슨 일이 일어났는지, 왜 이것이 LiteLLM에서 가장 흔히 발생하는 실수인지, 그리고 당신에게 이런 일이 일어나기 전에 어떻게 해결할 수 있는지 알려드리겠습니다.

무슨 일이 일어났는가

지난달, 저는 6개의 provider를 통해 트래픽을 라우팅하도록 LiteLLM Proxy를 설정했습니다. 저의 주력 모델은 100만 토큰당 0.14달러인 DeepSeek-V3였습니다. 저렴하고 빠르며, 제 트래픽의 90%를 처리하기에 충분했습니다. fallback으로는 "DeepSeek가 다운될 경우를 대비해" GPT-4o를 설정했습니다.

합리적으로 들리죠? 저도 그렇게 생각했습니다.

금요일 밤, DeepSeek가 rate-limiting (429s)을 시작했습니다. 저의 fallback chain이 작동했습니다. 429 에러를 받은 모든 요청이 100만 토큰당 입력 2.50달러 + 출력 10달러인 GPT-4o로 재라우팅되었습니다 — 18배나 더 비싸졌습니다.

토요일 아침이 되었을 때, 제 트래픽의 5%가 GPT-4o로 fallback되었습니다. 일요일 밤이 되었을 때, 저는 2,300달러의 OpenAI 청구서를 받게 되었습니다.

가장 최악인 점은 무엇일까요? gateway는 완벽하게 작동하고 있었다는 것입니다. 에러도, 알림도, 다운타임도 없었습니다. fallback은 제가 설정한 대로 정확히 작동했습니다. 문제는 설정 그 자체였습니다.

왜 발생하는가

이 안티 패턴(anti-pattern)은 capability-based fallback입니다. 즉, 주력 모델이 실패했을 때 어떤 모델이든 "더 나은" 모델로 트래픽을 라우팅하는 방식입니다. 직관적으로 느껴집니다. DeepSeek가 다운되면, 어차피 더 유능한 GPT-4o로 fallback하면 된다는 식이죠.

하지만 이는 금융 시한폭탄을 만듭니다:

저렴한 모델은 더 자주 실패합니다 — 이들은 더 엄격한 rate limits가 적용되는 공유 인프라를 사용합니다.
비싼 모델은 항상 사용 가능합니다 — provider들은 프리미엄 티어를 우선시합니다.
모든 fallback = 10-20배의 비용 증가 — 그리고 이런 일이 발생해도 알림이 오지 않습니다.
429 에러는 폭발적으로 발생합니다 — provider가 rate limit를 걸면, _모든 것_에 대해 rate limit를 겁니다.

결과적으로: 가장 저렴하고 트래픽 양이 많은 티어가 실패하면, 트래픽의 쓰나미가 가장 비싼 모델을 강타하게 됩니다. 월요일 아침에 청구 이메일이 도착하기 전까지는 눈치채지 못할 것입니다.

해결책: Price-Tiered Fallback

원칙은 간단합니다: fallback은 옆으로 가야 하며, 절대 위로 올라가서는 안 됩니다.

저렴한 모델(Cheap model) 실패 → 다른 저렴한 모델로 폴백 (fall back)
중간 티어 모델(Mid-tier model) 실패 → 다른 중간 티어 모델로 폴백 (fall back)
절대로 저렴한 모델에서 비싼 모델로 상향 폴백(fall up)하지 마십시오.

현재 제가 운영 중인 프로덕션 설정(production config)은 다음과 같습니다:

# config.yaml
litellm_settings:
  num_retries: 2
...

주요 설정 설명:

설정 (Setting)	기능	중요성
`allowed_fails: 3`	서킷 브레이커 (Circuit breaker) — 총 3번의 실패 후 재시도 중단	재시도 폭풍 (retry storms)으로 인한 비용 증폭 방지
...

청구서가 도착하기 전에 폴백 오용을 감지하는 방법

측정할 수 없는 것은 관리할 수 없습니다. 모니터링에 다음과 같은 간단한 체크 항목을 추가하세요.

옵션 1: 로그 기반 (추가 인프라 불필요)

# 지난 1시간 동안 폴백 비율이 5%를 초과하면 알림 발생
curl -s http://localhost:4000/logs \
  -H "Authorization: Bearer $LITELLM_MASTER_KEY" \
...

옵션 2: Prometheus + Grafana (프로덕션 환경)

# 전체 요청 대비 폴백 비율 (%)
sum(rate(litellm_fallback_requests_total[5m]))
  /
...

알림 임계값을 5%로 설정하십시오. 20번의 요청 중 1번 이상이 폴백된다면, 기본 제공업체(primary provider)에 문제가 있는 것입니다.

옵션 3: $0짜리 솔루션 — 일일 예산 알림

모든 키에 max_budget을 설정하십시오. LiteLLM은 예산에 도달하면 429 에러를 반환합니다. GPT-4o로 10,000개의 요청을 처리하는 것보다 100개의 요청에 대해 에러를 반환하는 것이 훨씬 낫습니다.

더 큰 그림 (The Bigger Picture)

폴백 라우팅(Fallback routing)은 제 프로덕션 생존 지도에서 **함정 #4 (Pitfall #4)**에 해당합니다. LiteLLM Proxy를 프로덕션에서 6개월간 운영한 후, 저는 5가지 배포 함정과 3가지 비용 함정을 기록했습니다:

제공업체 추가 후 모든 요청에서 503 에러 발생 — 모델 이름 불일치 (model name mismatch)
예상보다 3배 높은 비용 발생 — 폴백 체인이 기본적으로 비싼 모델을 호출함 ← 본 내용과 관련됨
키를 교체했으나 이전 키가 여전히 작동함 — 키 캐시 무효화 (key cache invalidation)
폴백 라우팅이 지갑을 텅 비게 만듦 ← 이 내용
스트리밍 응답이 토큰 중간에 끊김 — Nginx/Cloudflare 버퍼링 (buffering)

이 각각의 문제들은 저에게 실제 비용 손실이나 실제 다운타임(downtime)을 초래했습니다. 5가지 함정(pitfalls), 3가지 비용 함정(cost traps), 장애 결정 트리(failure decision tree), 그리고 설정 템플릿(config templates)이 모두 포함된 전체 1페이지 참조 카드는 여기에 있습니다:

👉 AI API Gateway Pitfall Map — $9

이것은 출력하여 모니터 옆에 붙여두어야 할 페이지입니다. 왜냐하면 새벽 2시에 게이트웨이(gateway)가 다운되었을 때, 40페이지짜리 가이드를 읽고 있지는 않을 것이기 때문입니다.

무료 리소스: 또한 배포 전 체크리스트 (Pre-Deployment Checklist)를 준비했습니다. 이는 운영 환경(production)에 적용되기 전에 가장 흔한 10가지 설정 오류(misconfigurations)를 잡아내는 1페이지 PDF입니다. 이메일 등록 없이 무료로 다운로드할 수 있습니다.

독립적인 참조 자료입니다. LiteLLM, OpenAI, DeepSeek 또는 언급된 그 어떤 제공업체와도 관련이 없습니다. 7일 이내 환불 보장 — 만약 이 맵(map)이 최소 1시간의 디버깅(debugging) 시간을 절약해주지 못한다면, 이메일로 전체 환불을 요청하세요.

태그: #litellm #ai #production #devops