OpenAI가 503 오류를 반환합니다. 앱의 모든 LLM 호출이 이 오류로 실패하며, 사용자들은 상태 페이지가 따라잡을 때까지 스피너만 바라보게 됩니다.
모델 폴백(Model fallback)은 모두가 찾는 해결책입니다. 즉, 주 모델(primary model)이 실패하면 다른 제공업체의 백업 모델(backup model)로 호출을 보내는 것입니다. 이는 try/catch와 비슷하게 들립니다. 하지만 실제로는 이것이 도움이 될지 아니면 상황을 악화시킬지를 결정하는 네 가지 세부 사항이 있습니다.
본 게시물에서는 이러한 세부 사항들을 살펴보고, VernLLM을 사용하여 TypeScript에서 LLM 폴백을 설정하는 방법을 보여줍니다. 여기서는 GPT-6.2 Sol을 주 모델로, Gemini 4 Neon을 백업 모델로 사용합니다. 게이트웨이나 프록시 없이, 이 방식은 사용자 프로세스 내에서 실행됩니다.
왜 try/catch 폴백만으로는 충분하지 않은가
try {
return await openai.chat.completions.create({ model: 'gpt-6.2-sol', messages });
} catch {
...
이것이 대부분의 폴백 코드가 시작되는 지점입니다. 여기에는 네 가지 문제가 있습니다:
- 주 모델에 너무 일찍 포기합니다. 단일 503 오류는 종종 사소한 문제(blip)일 수 있습니다. 공급업체를 전환하기 전에 주 모델에 대해 백오프(backoff)를 적용하여 몇 번의 재시도(retries)를 하는 것이 좋습니다.
- 모든 것에 실패합니다. 만약 모델이 스키마에 실패하는 JSON을 반환했거나, 사용자가 요청을 취소했다면, 두 번째 제공업체는 이 문제를 해결해주지 못합니다. 단지 비용만 두 번 지불하게 됩니다.
- 스트리밍(streaming)을 깨뜨립니다. 스트림이 이미 답변의 절반을 전송한 상태에서 폴백이 발생하면, 두 번째 모델의 출력이 사용자가 읽고 있는 텍스트에 끼어들게 됩니다.
- 누가 응답했는지 숨깁니다. 메트릭(metrics), 비용, 디버깅 등 모든 것은 어떤 제공업체와 모델이 응답을 생성했는지 알아야 합니다.
VernLLM을 사용한 LLM 폴백
npm i vern-llm openai @google/genai
import OpenAI from 'openai';
import { GoogleGenAI } from '@google/genai';
import { VernLLM, metaRef } from 'vern-llm';
...
fallback은 순서가 지정된 목록(ordered list)입니다. 이 순서 자체가 전체 정책이 됩니다. VernLLM은 사용자의 뒤에서 대상의 순서를 재배열하거나 점수를 매기지 않으므로, 주 모델이 항상 먼저 시도됩니다.
각 타겟(target)은 독립적입니다. 따라서 설정할 경우 각자 고유의 재시도 루프(retry loop), 자체 타임아웃, 서킷 브레이커(circuit breaker), 그리고 레이트 리미터(rate limiter)를 갖게 됩니다. 재시도 및 타임아웃 옵션은 해당 타겟이 명시하지 않은 경우 기본(primary) 설정을 상속받습니다.
페일오버(Failover)의 작동 방식
저는 이 설정에 항상 503을 반환하는 프라이머리(primary)와 maxRetries: 2를 적용하여 테스트했습니다. 프라이머리는 총 3번 시도했고, 이후 폴백 이벤트가 발생했습니다:
fallback openai -> gemini
그리고 meta.current는 누가 응답했는지 보고했습니다:
{
provider: 'gemini',
model: 'gemini-4-neon',
...
}
사용자의 코드는 정상적인 결과를 받습니다. 서비스 장애(outage)는 사용자에게 노출되는 것이 아니라 로그와 메트릭에 기록됩니다.
언제 폴백하고, 언제 멈춰야 하는가
타겟 자체의 재시도가 모두 소진된 후, VernLLM은 정책을 확인하여 다음 타겟으로 이동할지 결정합니다. 기본값인 defaultFallbackOn은 다른 프로바이더가 실제로 해결할 수 있는 실패에 대해서는 계속 진행하고, 나머지는 중단합니다:
| 오류 | 결정 | 이유 |
|---|
| 5xx, 타임아웃, 네트워크 오류 | 다음(next) | 해당 프로바이더에 문제가 생겼으므로, 다른 프로바이더는 그렇지 않을 수 있습니다. |
| ... | | |
제 테스트에서는 프라이머리를 문자열을 요구하는 Zod 스키마를 상대로 { "summary": 42 }를 반환하도록 모델에 연결했습니다. 이 호출은 validation 오류로 중단되었고, 백업(backup)은 요청을 전혀 받지 못했습니다.
기본값을 대체하는 대신 감싸서 사용할 수 있습니다:
import { defaultFallbackOn } from 'vern-llm';
const llm = new VernLLM({
...
스트리밍: 첫 청크(chunk)가 오기 전에만 폴백 적용
stream: true를 사용할 경우, 폴백은 스트림 연결이 실패했을 때(첫 청크가 도착하기 전의 5xx 또는 타임아웃)에만 적용됩니다. 일단 청크가 사용자에게 도달하면, 해당 호출에 대한 실패는 최종적입니다. VernLLM은 사용자가 이미 읽기 시작한 결과물에 두 번째 모델의 답변을 끼워 넣지 않습니다.
폴백 사용량 추적
onUsage는 모든 성공적인 호출마다 provider와 usedFallback를 보고하므로, 백업 시스템을 얼마나 자주 사용하는지 확인할 수 있습니다:
onUsage: (usage) => {
metrics.increment('llm.call', { provider: usage.provider });
if (usage.usedFallback) metrics.increment('llm.fallback_used', { provider: usage.provider });
...
호출별 순서 지정
targets는 한 번의 호출에 대해 어떤 타겟을, 그리고 어떤 순서로 시도할지 결정합니다:
await llm.call({ userContent: '...', targets: ['gemini', 'openai'] });
건강 상태(health), 지연 시간(latency) 또는 비용(cost)을 기준으로 순서를 지정하려면 라우터 확장 기능(router extension)이 미들웨어(middleware)로 처리합니다. Core는 주어진 목록만 실행합니다.
마무리
모델 폴백은 단순히 오류를 포착하는 것 이상입니다. 먼저 기본 제공업체(primary)를 재시도하고, 다른 제공업체가 해결할 수 있는 실패에 대해서만 전환하며, 스트림 중간에는 절대 전환하지 말고, 누가 응답했는지 항상 기록해야 합니다.
문서: 다중 제공업체 폴백