50개의 LLM 호출을 한 번에 실행합니다. 배치 작업, 문서들을 대상으로 하는 분산 작업, 혹은 바쁜 시간대일 수 있습니다. 하지만 제공업체는 한 번에 10개까지만 허용하기 때문에 나머지는 429 Too Many Requests 오류로 반환됩니다.
일반적인 해결책은 백오프(backoff)를 사용하여 429 에러를 재시도하는 것입니다. 이것이 도움이 되기는 하지만, 이 의미를 주목해야 합니다. 모든 재시도는 이미 속도 제한을 받은 후에 보낸 요청입니다. 즉, 우리가 지킬 수 있었던 한계에 대해 반응하고 있는 것입니다.
본 게시물에서는 실제 숫자를 통해 그 차이를 보여주고, 제공업체가 거부하기 전에 VernLLM을 사용하여 TypeScript에서 LLM 호출 속도 제한을 처리하는 방법을 알아봅니다.
429 재시도 vs 발생시키지 않기
저는 스크립트화된 제공업체를 대상으로 50개의 호출 버스트를 실행했습니다. 이 가상의 제공업체는 동시에 10개의 요청만 허용하고 나머지는 429로 거부합니다. 두 테스트 모두 maxRetries: 2를 사용했습니다.
| 재시도만 이용 | rateLimit: { maxConcurrent: 10 } |
|---|
| 응답받은 호출 수 | 20 | 50 |
| ... | | |
| 재시도만 이용했을 때는 총 130개의 요청을 보내고, 110개의 거부 응답을 받았으며, 여전히 30개의 호출을 놓쳤습니다. 하지만 로컬 제한(local limit)을 사용했을 때는 모든 호출이 순서를 기다렸다가 한 번씩 나갔습니다. | | |
VernLLM으로 LLM 호출 속도 제한 처리하기
import OpenAI from 'openai';
import { VernLLM } from 'vern-llm';
import { fromOpenAI } from 'vern-llm/adapters';
...
rateLimit은 세 가지 버킷(bucket)을 가지고 있으며, 각각 선택 사항입니다:
- requestsPerMinute: 분당 몇 개의 요청이 나갈 수 있는지 제한합니다. 이 값은 60초마다 한 번에 초기화되는 것이 아니라 지속적으로 채워집니다.
- tokensPerMinute: 토큰 처리량(throughput)을 제한합니다. 요청이 나가기 전에 추정치를 확인하고, 이후 제공업체가 보고하는 실제 사용량을 통해 이를 보정합니다.
- maxConcurrent: 동시에 진행 중인 요청 수(requests in flight)를 제한하며, 요청 하나가 완료되는 순간 슬롯을 해제합니다.
모든 설정된 버킷에 여유 공간이 있을 때만 호출이 나갑니다. 그렇지 않으면 기다립니다.
공정한 큐 (A fair queue)
아직 나갈 수 없는 호출들은 엄격한 선입선출(First In, First Out) 순서로 대기합니다. 큰 호출이라도 뒤에 있는 작은 호출들 때문에 기회가 박탈되는 일은 없습니다.
호출이 얼마나 오래 기다릴지, 그리고 큐가 얼마나 깊어질지는 사용자가 결정할 수 있습니다:
rateLimit: {
requestsPerMinute: 60,
maxQueueMs: 10_000, // default 30000
...
호출이 대기하는 것을 포기하면 rate_limited 오류와 함께 처리할 수 있는 코드(예: rate_limit_queue_timeout 또는 rate_limit_queue_full)로 실패합니다. 이들은 제공자에게 도달하지 않았으므로, VernLLM은 이를 재시도하지 않습니다. 또한, 아무리 기다려도 tokensPerMinute 내에 들어갈 수 없는 크기의 호출은 큐를 영원히 막는 대신 즉시 rate_limit_capacity_exceeded로 실패합니다.
재시도 횟수 계산
용량은 호출당이 아니라 시도(attempt)당 차감됩니다. 재시도는 동일한 제공자 제한에 대한 실제 요청이므로, 다른 모든 것과 같은 큐에서 대기합니다. 이것이 재시도가 하나의 429 오류를 폭주하는 상황으로 만들지 않도록 유지하는 원리입니다.
적응형 제한: AIMD
사용자는 제공자의 실제 제한을 알지 못하거나, 티어 및 부하에 따라 이 제한이 변경되는 경우가 많습니다. aimd는 요청의 상한선(ceiling)을 스스로 조정하게 합니다. 성공할 때마다 약간 증가하고, 실제 429 오류가 발생하면 감소합니다.
rateLimit: {
requestsPerMinute: 500,
aimd: { increaseBy: 10, decreaseFactor: 0.5, minCapacity: 50, maxCapacity: 1000 },
...
이 값은 최대 60초에 한 번만 감소하므로, 이미 진행 중인 호출들로부터 발생하는 429 오류의 급증(burst)은 단일 과부하로 간주됩니다. proactiveFloor를 사용하면, 레이트 리밋 헤더를 읽을 수 있는 어댑터가 제공자가 낮은 잔여 용량을 보고하기 전에 상한선을 줄여줍니다.
아직 통과하는 429 오류는 자체 코드인 provider_rate_limited를 유지하므로, 로그에서 실제 제공자 제한과 VernLLM의 내부 큐 제한을 구분할 수 있습니다.
제공자별 단일 제한
폴백(fallback) 기능을 사용할 경우, 각 대상은 고유한 리미터(limiter)를 갖게 됩니다. 어려움을 겪는 주(primary) 서비스에 대한 급증이 건강한 백업(backup)이 필요로 하는 슬롯을 소모할 수 없습니다:
const llm = new VernLLM({
client: fromOpenAI(openai),
model: 'gpt-6.2-sol',
...
단일 프로세스를 넘어 확장하기
내장 리미터는 하나의 프로세스 내에 존재합니다. 여러 인스턴스를 실행하는 경우, Redis나 다른 것을 백엔드로 사용하는 사용자 지정 RateLimiterAdapter를 전달하여 모든 인스턴스가 제공자에 대해 하나의 예산(budget)을 공유하도록 해야 합니다.
마무리
429 에러(Too Many Requests)를 재시도하는 것은 임시방편에 불과합니다. 로컬 제한(local limit)을 설정하면 처음부터 제공업체의 상한선(ceiling)을 넘지 않게 할 수 있습니다: 요청을 순서대로 큐에 넣고(queue in order), 모든 재시도를 계산하며, 제공업체가 거부할 때 적응해야 합니다.
문서: 속도 제한 (Rate limiting)