분산 AI 시스템에서의 Rate Limiting 및 Circuit Breakers

분산 AI 시스템은 대규모 요청 볼륨, 모델 추론 (model inference)으로 인한 가변적인 지연 시간 (latency), 그리고 GPU 클러스터, 데이터베이스 또는 제3자 API와 같은 외부 서비스에 대한 의존성을 처리해야 하므로 본질적으로 복잡합니다. 적절한 보호 장치가 없다면, 단 하나의 오작동하는 구성 요소나 갑작스러운 트래픽 급증이 시스템 전체의 장애로 이어지는 연쇄 실패 (cascade failure)를 일으킬 수 있습니다. 두 가지 핵심 패턴인 **Rate Limiting (속도 제한)**과 **Circuit Breakers (서킷 브레이커)**는 필수적인 보호 기능을 제공합니다. 이 포스트에서는 AI 워크로드에 맞춤화된 이들의 역할, 구현 전략 및 실질적인 Python 예제를 살펴봅니다.

분산 AI 시스템에 이러한 패턴이 필요한 이유

전형적인 AI 파이프라인을 가정해 보겠습니다. 사용자가 프롬프트 (prompt)를 보내면, 이는 로드 밸런서 (load balancer)를 거쳐 API 게이트웨이 (API gateway)로 전달되고, 그 다음 추론 서비스 (inference service, 예: 대규모 언어 모델 (LLM))로 전달되며, 이 서비스는 벡터 데이터베이스 (vector database)나 파인튜닝 (fine-tuning) API를 호출할 수 있습니다. 각 구성 요소에는 용량 제한이 있습니다:

• GPU 추론 서버는 처리할 수 있는 동시 요청 (concurrent requests) 수가 제한되어 있습니다.
• 외부 API (예: OpenAI, HuggingFace)는 Rate Limits (속도 제한)를 적용합니다.
• 데이터베이스 연결 (database connections)은 유한합니다.

Rate Limiting이 없다면, 단 하나의 악의적인 클라이언트가 자원을 고갈시킬 수 있습니다. Circuit Breakers가 없다면, 실패하는 다운스트림 (downstream) 서비스가 전체 시스템에 걸쳐 연쇄적인 타임아웃 (timeouts)과 자원 고갈을 초래할 수 있습니다.

Rate Limiting: 요청 흐름 제어

Rate Limiting은 클라이언트, 사용자 또는 서비스가 주어진 시간 범위 내에서 보낼 수 있는 요청 수를 제한합니다. 이는 자원 고갈 (resource starvation)을 방지하고 공정한 접근을 보장합니다.

일반적인 알고리즘

알고리즘	장점	단점
Token Bucket	부드러운 버스트 (burst) 처리, 구현 용이	버킷당 메모리 사용
...

AI 시스템의 경우, Token Bucket (토큰 버킷) 방식이 선호되는 경우가 많습니다. 이는 장기적인 평균을 유지하면서도 짧은 버스트 (예: 사용자가 프롬프트 배치를 보내는 경우)를 허용하기 때문입니다.

Python 구현: Token Bucket Rate Limiter

import time
import threading
from collections import defaultdict
...

AI 특화 고려 사항

• 토큰 단위 스로틀링 (Token-level throttling): LLM의 경우, 단순히 요청(request) 횟수가 아니라 입력/출력 토큰(token) 수에 따라 속도 제한(rate-limit)을 적용해야 합니다. 4096개의 토큰을 생성하는 요청은 100개를 생성하는 요청보다 훨씬 더 무겁습니다.
• 우선순위 큐 (Priority queues): 프리미엄 사용자는 더 높은 속도 제한을 부여받거나 별도의 버킷(bucket)을 할당받습니다.
• 분산 상태 (Distributed state): 여러 서비스 인스턴스 간에 공유되는 속도 제한기(rate limiter) 상태를 관리하기 위해 Redis 또는 etcd를 사용합니다.

# Redis 기반 분산 속도 제한기 (단순화 버전)
import redis
import time
...

서킷 브레이커 (Circuit Breakers): 빠른 실패와 우아한 복구

서킷 브레이커(circuit breaker)는 다운스트림 서비스(예: GPU 추론 서버, 벡터 데이터베이스)에 대한 호출을 모니터링합니다. 실패가 임계값(threshold)을 초과하면 서킷이 열리고 (opens), 이후의 호출은 즉시 실패하거나 폴백(fallback)을 사용합니다. 냉각 시간(cooldown)이 지난 후, 서비스가 복구되었는지 테스트하기 위해 반개방 (half-open) 상태로 전환됩니다.

상태 (States)

Closed (정상) --> Open (실패) --> Half-Open (테스트) --> Closed 또는 Open

Python 구현: AI 추론을 위한 서킷 브레이커

import time
import logging
from enum import Enum
...

AI 특화 서킷 브레이커 기능

• 실패 유형 (Failure types): 일시적인 오류(transient errors, 예: 타임아웃, 503)와 지속적인 오류(persistent errors, 예: 400 bad request)를 구분합니다. 일시적인 오류만 임계값 계산에 포함합니다.
• 느린 호출 (Slow calls): 비정상적으로 느린 응답(예: LLM 추론에 10초 이상 소요)을 실패로 간주합니다. 이는 리소스 독점(resource hoarding)을 방지합니다.
• **일괄 (Bulk