2026년 5월 20일, 저의 개발 환경이 429 에러의 폭풍을 겪었습니다.
GLM API의 레이트 제한(Rate Limit) 도달 → 레이트 프록시의 버그 → 불필요한 폴백 영구화 → 개발 완전 중단.
이 3일간 발생했던 인시던트의 원인, 대응, 그리고 교훈을 기록합니다.
| 날짜 | 사건 |
|---|
| 5/20 | Z.AI API 5시간 제한 도달 → 429 연속 발생 → MiniMax 폴백 |
| ... | |
510 요청 중:
정상 응답: 342건 (67%)
429 에러: 108건 (21%)
...
원인: Claude Code 세션을 5개 동시 가동 → Z.AI API의 5시간 창(Window) 제한에 도달했습니다.
사용률: 95% → 99%
프록시 동작: GLM-5.1 → GLM-4.7-Flash → MiniMax
여기까지는 정상적인 동작이었습니다. 문제는 다음 상황에서 발생했습니다.
Z.AI API의 5시간 창이 리셋되자 실제 사용률은 0%로 돌아왔습니다. 하지만 프록시 내부의 사용률은 99%에 고정되어 있었습니다.
Z.AI Dashboard: 사용률 2% (정상)
프록시 내부: 사용률 99% (비정상)
결과: 프록시는 계속해서 MiniMax를 사용하려고 합니다.
# ~/.secrets.env
ANTHROPIC_BASE_URL=https://api.z.ai/api/anthropic # 직접 연결
프록시 경유 방식을 포기하고 Z.AI에 직접 연결하도록 변경했습니다. 이로써 GLM-5.1으로 복귀할 수 있었습니다.
하지만, 근본적인 원인은 해결되지 않았습니다.
# proxy.py L93 — 버그 코드
# GLM-4.7-Flash 성공 시 처리
resp = await self._upstream.request_glm_flash(...)
...
문제: set_usage(99.0)
이는 고정 값입니다. 응답 헤더에 포함된 실제 사용률을 무시하고 있습니다.
# 수정 후
resp = await self._upstream.request_glm_flash(...)
self._tracker.update_from_headers(resp["headers"]) # ← 실제 사용률로 업데이트
# proxy.py L108-114 — 버그 코드
resp = await self._upstream.request_minimax(...)
logger.info(f"MiniMax fallback succeeded")
...
MiniMax 폴백이 성공하더라도 트래커가 업데이트되지 않습니다. 결과적으로 사용률이 영원히 내려가지 않습니다.
# 수정 후
resp = await self._upstream.request_minimax(...)
logger.info(f"MiniMax fallback succeeded")
...
1. GLM 429 → 비상 모드(emergency mode) → MiniMax로 전환 ✅
2. 5시간 제한 리셋 후, 다음 GLM 성공 응답으로 사용률이 업데이트됨 ✅
3. 사용률이 80% 이하로 떨어지면 자동으로 정상 모드(normal mode)로 복귀 ✅
# ❌ 시간 경과에 따른 복구를 가정
if time.time() - last_429 > 5 * 3600:
reset_usage() # 실제 사용률을 확인하지 않음
...
폴백 대상(MiniMax)이 성공하더라도, 메인 상태(사용률)는 업데이트되지 않는다는 점을 인지해야 합니다.
# 비상시 1개 명령으로 복구
pkill -f glm_rate_proxy # 프록시를 중단만 시킴
# 다음 기동 시 자동으로 Z.AI 직접 연결이 되도록 함
2026-05-20 04:00 usage=85% mode=economy
2026-05-20 05:00 usage=99% mode=emergency ← 여기서부터 이상함
2026-05-20 10:00 usage=99% mode=emergency ← 리셋되었어야 하는데 99%
로그를 보면 언제부터 비정상이었는지 한눈에 파악할 수 있습니다.
-
사용률을 헤더에서 가져오기 (하드코딩 금지)
-
MiniMax 성공 시 트래커 업데이트
-
프록시 우회(bypass) 수단 문서화
-
인시던트 기록의 단일 진실 공급원(SSOT) 보관
-
GLM API를 사용하여 월 15억 토큰을 처리하는 LLM 라우팅의 실전 운영 — 장애가 발생한 레이트 프록시(Rate Proxy)의 전체 설계
-
OpenClaw × GLM-5로 월 비용을 절감하며 24시간 AI 비서(Assistant)를 운영 — 429 대책의 기반이 되는 비용 관리 규칙
-
비(非) IT 직장인이 OpenClaw로 24시간 AI 집사 '부엉이'를 만든 3개월 기록 — 영향을 받은 OpenClaw 운영의 전체 모습
-
OpenClaw Heartbeat 설계: AI에게 주기적으로 작업을 시키는 메커니즘 — 429 발생 시 Heartbeat 지속성과 폴백(Fallback) 설계
본 기사는 Claude Code (GLM-5.1)와 함께 작성했습니다.
본 기사는 개인 Zenn에서도 공개하고 있습니다.