DeepSeek V4 Flash 및 GLM-5를 활용한 비용 효율적인 LLM 라우터 구축

프로덕션 AI 시스템은 모든 요청에 대해 동일한 모델을 필요로 하는 경우가 드뭅니다. 짧은 분류 작업, 코드 리뷰, 그리고 긴 추론 워크플로우는 서로 다른 지연 시간(Latency)과 품질 요구 사항을 가집니다. 이 세 가지를 모두 하나의 프리미엄 모델로 보내는 것은 운영하기는 쉽지만, 비용과 실패 동작(Failure behaviour)을 제어하기 어렵게 만듭니다.

이 튜토리얼에서는 OpenAI 호환 엔드포인트(Endpoint)를 기반으로 소규모 모델 라우터(Router)를 구축합니다. 예제에서는 2026-08-03 기준 AIWave의 공개 가격 카탈로그에 표시된 두 가지 모델을 사용합니다:

• deepseek-v4-flash: 1M 토큰당 입력 $0.206 및 출력 $0.412
• glm-5: 1M 토큰당 입력 $1.55 및 출력 $4.96

위 가격은 작성 시점의 실시간 AIWave 요금이며, 카탈로그의 모델 및 완료 비율(Completion ratios)을 바탕으로 계산되었습니다. 가격은 변동될 수 있으므로, 프로덕션 코드에서는 영구적인 요율을 하드코딩하기보다 AIWave 가격 페이지를 신뢰할 수 있는 원천(Source of truth)으로 취급해야 합니다.

하나의 모델을 사용하는 대신 라우팅을 하는 이유는 무엇인가요?

라우팅은 워크로드(Workload) 간에 관찰 가능한 복잡도 차이가 있을 때 유용합니다. 플래시(Flash) 모델은 더 적은 비용으로 짧은 답변, 추출(Extraction), 일상적인 변환 작업을 처리할 수 있습니다. 더 강력한 추론(Reasoning) 모델은 모호한 요구 사항, 다단계 계획(Multi-step planning), 그리고 잘못된 답변의 비용이 몇 개의 추가 토큰보다 더 큰 코드 리뷰를 위해 예약할 수 있습니다.

중요한 설계 목표는 "항상 가장 저렴한 모델을 선택하는 것"이 아닙니다. 트레이드오프(Trade-off)를 명시적이고 측정 가능하게 만드는 것입니다:

예를 들어, 2,000개의 입력 토큰(input tokens)과 800개의 출력 토큰(output tokens)을 가진 요청은 위 요율을 기준으로 DeepSeek V4 Flash에서 약 $0.00074, GLM-5에서 $0.00708의 비용이 발생합니다. 계산식은 (input_tokens / 1,000,000 × input_price) + (output_tokens / 1,000,000 × output_price)입니다. 실제 청구 금액은 반환된 토큰 수와 재시도(retries) 횟수에 따라 달라집니다.

OpenAI 호환성 유지하기

AIWave는 표준 Chat Completions 형식을 제공합니다. 기존의 OpenAI SDK 코드는 AIWave 대시보드에서 생성한 키와 다른 베이스 URL(base URL)만 필요합니다. 아래의 플레이스홀더(placeholder)를 소스 제어(source control)에 유지하되, 실제 API 키를 커밋하지 마세요.

from openai import OpenAI

client = OpenAI(
...

모델 이름은 마케팅용 별칭이 아니라 카탈로그 식별자(catalog identifier)입니다. 배포하기 전에 설정 파일의 식별자를 현재 모델 카탈로그와 비교하십시오.

작은 결정론적 라우터 (Deterministic Router)

첫 번째 버전은 의도적으로 단순하게 구성할 수 있습니다. 호출자가 제공한 작업 유형(task type)을 기반으로 라우팅하고 안전한 기본값(default)을 유지하세요. 이는 모든 요청을 분류하기 위해 다른 모델에게 물어보는 라우터보다 테스트하기가 더 쉽습니다.

from openai import OpenAI

client = OpenAI(base_url="https://aiwave.live/v1", api_key="YOUR_API_KEY_HERE")
...

실제 서비스에서는 라우팅 결정 로직을 작은 모듈에 넣고, 선택된 모델, 지연 시간(latency), 상태 코드(status code), 토큰 사용량을 로그로 남기세요. 고객의 비밀 정보가 포함된 프롬프트(prompt)는 로그에 남기지 마십시오. 요청 ID(request ID)를 사용하면 민감한 콘텐츠를 저장하지 않고도 애플리케이션 메트릭(metrics)과 제공업체의 응답을 결합할 수 있습니다.

예산 및 실패 가드레일(Guardrails) 추가

첫 번째 라우터를 프로덕션 환경에 적합하게 만들기 위해서는 보통 세 가지 가드레일(guardrails)이면 충분합니다:

1. 작업 클래스(task class)별로 최대 출력 토큰 예산(output token budget)을 설정하세요. 짧은 추출(extraction) 작업이 긴 에세이를 생성하도록 허용해서는 안 됩니다.
2. 일시적인 429 및 5xx 응답에 대해 지수 백오프(exponential backoff)를 사용하여 재시도하되, 서비스 중단이 비용 지출을 증폭시키지 않도록 재시도 횟수를 제한하세요.
3. 폴백(fallback) 정책을 유지하세요. GLM-5를 사용할 수 없는 경우, 고위험 워크플로우에 대해서는 'fail closed'(실패 시 차단) 처리하거나, 호출자가 품질 저하를 수용하는 경우에만 DeepSeek V4 Flash로 라우팅하세요.

폴백은 운영자에게 가시적이어야 합니다. 내부 텔레메트리(telemetry)에 선택된 모델과 fallback_used 플래그를 반환하세요. 그렇지 않으면 조용한 품질 변화가 프롬프트 회귀(prompt regression)처럼 보일 수 있습니다.

추측 대신 비용을 측정하세요

최소한 요청 횟수, 입력 토큰(input tokens), 출력 토큰(output tokens), 지연 시간 백분위수(latency percentiles), 에러율, 그리고 모델별 예상 USD 비용을 수집하세요. 다음 헬퍼(helper)는 SDK에서 반환된 사용량을 바탕으로 추정치를 계산합니다:

PRICE_PER_MILLION = {
    "deepseek-v4-flash": (0.206, 0.412),
    "glm-5": (1.55, 4.96),
...

이 테이블을 영구적인 설정이 아닌, 특정 시점의 스냅샷(snapshot)으로 취급하세요. 과금 검토 전에 AIWave pricing에서 정보를 갱신하고, 스냅샷 옆에 유효 날짜를 기록해 두세요. 조직 내에서 가격 변경에 대한 승인이 필요한 경우, 갱신 과정을 검토된 구성 변경(configuration change)으로 처리하세요.

라우팅이 잘못된 추상화인 경우

사용자에게 보이는 키워드만으로 라우팅하지 마세요. 또한, 필요하지 않은 분류기(classifier)에 개인 데이터를 보내지 마세요. 엄격한 재현성(reproducibility), 특정 벤더의 안전 제어(safety controls), 또는 비용보다 단일 지연 시간 SLO(Service Level Objective)가 더 중요한 경우에는 단일 모델을 사용하는 것이 더 바람직할 수 있습니다. 마찬가지로, 품질과 비용을 측정할 만큼 충분한 트래픽이 없다면, 라우팅 로직을 추가하기 전에 단일 모델로 시작하여 계측(instrumentation)을 먼저 수행하세요.

이미 OpenAI SDK를 사용 중인 팀의 경우, 마이그레이션 경로는 의도적으로 매우 간단하게 설계되었습니다. AIWave 키를 생성하고, Base URL을 변경하며, 카탈로그 모델을 선택한 뒤, 기존 서비스 경계(service boundary) 뒤에 라우터를 추가하기만 하면 됩니다. Chat Completions 문서에서 요청 파라미터(request parameters)와 스트리밍(streaming)에 대한 자세한 내용을 확인할 수 있습니다.

실무 배포 체크리스트

• 가격 페이지에서 모델 ID와 현재 USD 기준 입력/출력 요율을 확인하세요.
• 트래픽을 변경하기 전에 두 경로 모두에 대해 고정된 평가 세트(evaluation set)를 실행하세요.
• 일상적인 요청의 적은 비율부터 시작하여 품질, 지연 시간(latency), 비용을 비교하세요.
• 요청 수뿐만 아니라 에러율(error rate), 폴백 비율(fallback rate), 일일 지출액에 대해 알림을 설정하세요.
• 예제에는 YOUR_API_KEY_HERE를 유지하고, 실제 키는 시크릿 매니저(secret manager)에 저장하세요.

비용 인지형 라우터(cost-aware router)는 첫 번째로 측정 시스템(measurement system)이어야 하며, 두 번째로 모델 선택 규칙(model-selection rule)이어야 합니다. 텔레메트리(telemetry)를 신뢰할 수 있게 되면, 요청이 왜 특정 경로로 라우팅되었는지 또는 비용이 얼마인지에 대한 가시성을 잃지 않으면서 캐싱(caching), 배치 처리(batch processing) 또는 세 번째 모델을 추가할 수 있습니다.