Model Routing 101: 품질 저하 없이 저렴한 모델에 쉬운 프롬프트 보내기

요약 (TL;DR)

• Model routing은 들어오는 쿼리를 작업을 완료할 수 있는 가장 비용 효율적인 언어 모델로 안내하여 추론 지출(inference spend)을 40%에서 85%까지 줄입니다.
• Frontier model은 경량 대안(lightweight alternatives)보다 10배에서 20배 더 비싸지만, 실제 운영 트래픽 분포를 보면 루틴한 요청의 60%에서 80%는 다단계 추론(multi-step reasoning)을 필요로 하지 않습니다.
• 효과적인 라우팅 아키텍처는 정적 모델 하드코딩보다는 규칙 기반 매칭(rule-based matching), 의미 임베딩 분류기(semantic embedding classifiers), 또는 다계층 캐스케이드 체인(multi-tier cascade chains)에 의존합니다.
• 응답 품질을 유지하려면 오프라인 평가 기준선(offline evaluation baselines), 지속적인 운영 점수화(continuous production scoring), 그리고 더 단순한 모델이 수용 임계값(acceptance thresholds)을 충족하지 못할 때의 자동 폴백 메커니즘(automated fallback mechanisms)이 필요합니다.
• Bifrost는 Go로 작성된 오픈 소스 AI 게이트웨이로, 5,000 요청 초당(requests per second)에서 11 마이크로초의 지연 시간 오버헤드(latency overhead)로 동적 라우팅 규칙을 실행합니다.

운영 AI 시스템은 텍스트 분류(text classification), 개체 추출(entity extraction), 고객 확인 메시지(customer acknowledgments)와 같은 단순한 작업을 루틴하게 비싼 Frontier model에 할당하는 경우가 많습니다. 실제로는 model routing이 런타임에서 요청을 검사하고 각 프롬프트를 작업 요구 사항을 충족하는 가장 비용 효율적인 모델로 안내함으로써 이러한 효율성 불일치(efficiency mismatch)를 해결합니다. Maxim AI가 만든 오픈 소스 AI 게이트웨이인 Bifrost는 단일 OpenAI 호환 인터페이스를 통해 모델 라우팅, 제공업체 부하 분산(provider load balancing), 거버넌스 정책을 실행합니다. 이 가이드는 기술 팀이 프롬프트 복잡성을 분류하고, 동적 모델 라우팅 아키텍처를 구현하며, 다중 모델 배포 전반에 걸쳐 엄격한 출력 품질을 유지하는 방법을 검토합니다.

모델 라우팅이란 무엇인가?

모델 라우팅(Model routing)은 입력 프롬프트의 특성을 기반으로 각 언어 모델 추론 요청을 특정 모델, 제공업체 또는 구성 요소로 동적으로 안내하는 아키텍처 패턴입니다. 전체 코드베이스에 걸쳐 단일한 최첨단 모델(frontier model)을 하드코딩하는 대신, 라우팅 계층은 프롬프트 복잡도, 사용자 등급, 작업 카테고리 및 지연 시간 제약 조건과 같은 요소를 평가한 후 실행 대상을 선택합니다.

                           +------------------------+
                           |  클라이언트 애플리케이션   |
                           +-----------+------------+
... 

표준 단일 모델 아키텍처에서는 엔지니어링 팀이 시스템이 엣지 케이스(edge cases)를 우아하게 처리하도록 GPT-4o나 Claude 3.5 Sonnet과 같은 범용 모델을 선택합니다. 이러한 기본 결정은 상당한 경제적 비효율성을 초래합니다.

1. 토큰 비용 증가: 최첨단 추론 모델(Frontier reasoning models)은 100만 토큰당 $2.50에서 $15.00의 비용이 드는 반면, 소형 모델(예: GPT-4o-mini, Claude 3.5 Haiku 또는 오픈 웨이트 Llama 3.3 70B)은 100만 토큰당 $0.15에서 $0.80의 비용이 듭니다. 결정론적이거나 엔트로피가 낮은(low-entropy) 요청에 최첨단 가격을 지불하는 것은 사용자 만족도를 개선하지 못하면서 운영 비용을 증가시킵니다.
2. 높은 응답 지연 시간: 더 많은 매개변수 수는 더 큰 컴퓨팅 자원을 요구하며, 그 결과 첫 토큰까지의 시간(Time-to-First-Token, TTFT) 지표가 높아지고 생성 속도가 느려집니다. 가벼운 프롬프트를 더 작은 모델로 라우팅하면 최종 사용자에게 전달되는 종단 간 응답 시간을 줄일 수 있습니다.
3. 제공사 수준의 호출 제한(Rate limits): 모든 프로덕션 트래픽을 단일 제공사에 집중하는 것은 조직을 호출 제한 스로틀링(HTTP 429 오류) 및 지역적 장애에 취약하게 만듭니다.

실증적인 연구는 동적 모델 라우팅의 실현 가능성을 확인시켜 줍니다. 추론 최적화에 관한 기초 논문에서, Stanford 연구진은 FrugalGPT를 소개하며, 다양한 역량을 가진 모델들 간에 요청을 연쇄적으로 처리하는 것이 개별 최고 수준(state-of-the-art) 모델의 성능과 일치하면서도 쿼리 비용을 최대 98%까지 낮출 수 있음을 입증했습니다. 유사하게, UC Berkeley와 LMSYS의 RouteLLM 연구는 학습된 라우터 분류기(router classifiers)가 표준 벤치마크에서 추론 비용을 85% 이상 절감하는 동시에 GPT-4 응답 품질의 95%를 유지했음을 보여주었습니다.

모델 라우팅의 핵심 전략 (Core Strategies for Model Routing)

프로덕션 모델 라우팅 시스템은 세 가지 주요 방법론에 의존합니다: 규칙 기반 매칭(rule-based matching), 임베딩 기반 분류(embedding-based classification), 그리고 다중 모델 연쇄 처리(multi-model cascades). 각 접근 방식은 라우팅 지연 시간, 설정 오버헤드, 정밀도 측면에서 뚜렷한 트레이드오프를 제시합니다.

1. 결정론적 및 메타데이터 기반 라우팅

결정론적 라우팅은 요청 페이로드나 HTTP 헤더에 존재하는 정적 신호를 평가합니다. 이 방식은 라우터 경로에서 머신러닝 추론(machine learning inference)을 실행하는 것을 피하기 때문에, 무시할 수 있는 수준의 처리 지연 시간만 추가합니다.

일반적인 결정론적 기준에는 다음이 포함됩니다:

• 클라이언트 메타데이터 및 인증 등급: 무료 사용자로부터 발생하는 요청은 경량 오픈 가중치 모델(lightweight open-weights models)로 라우팅되는 반면, 엔터프라이즈 계정의 요청은 프론티어 모델(frontier models)로 라우팅됩니다.
• 작업별 엔드포인트: 내부 서비스는 요청을 기능별로 태그 지정합니다 (예: intent-classification, translation, 또는 sql-generation). 라우터는 이 태그를 미리 구성된 모델에 직접 매핑합니다.
• 페이로드 크기 및 파라미터 제한: 짧은 입력 길이와 낮은 요청 생성 길이를 가진 프롬프트는 종종 더 간단한 작업과 관련되며, 이는 저비용 모델의 주요 후보가 됩니다.

2. 의미론적 및 임베딩 기반 분류

요청이 단일 비정형 채팅 입력으로 들어오는 경우, 결정론적 규칙으로는 프롬프트 복잡도를 신뢰성 있게 판단할 수 없습니다. 의미론적 라우팅(Semantic routing)은 들어오는 프롬프트를 벡터 임베딩(vector embeddings)으로 변환하고 이를 참조 쿼리 클러스터와 비교하여 이 문제를 해결합니다.

참조 클러스터는 복잡도 등급별로 분류된 과거 운영 데이터에서 구축됩니다:

• 단순 티어 (Simple tier): 인사말, 짧은 질의응답(Q&A), 기본적인 텍스트 변환, 표준 고객 지원 문의.
• 보통 티어 (Moderate tier): 다중 단락 요약, 어조 조정, 문서 비교, 구조화된 데이터 생성.
• 복잡 티어 (Complex tier): 논리 퍼즐, 법률 계약 분석, 다중 파일 코드 생성, 다단계 계획.

프롬프트가 도착하면, 라우터는 해당 프롬프트의 벡터 코사인 유사도를 참조 클러스터 중심점(reference cluster centroids)과 계산합니다. 만약 간단한 클러스터에 대한 유사도 점수가 설정된 임계값(threshold)을 초과하면, 라우터는 쿼리를 저비용 모델로 전송합니다.

3. 모델 캐스케이드(Model Cascades)

모델 캐스케이드는 목적지를 미리 예측하는 대신 순차적으로 라우팅합니다. 라우터는 가장 저렴한 모델로 요청을 먼저 보냅니다. 그런 다음 시스템은 결정론적 검증기(deterministic validators, 예: JSON 스키마 린터 또는 정규식 검사)나 경량 판단 모델(lightweight judge model)을 사용하여 결과 출력을 평가합니다.

만약 경량 모델이 유효하지 않은 응답을 생성하거나, 환각(hallucinates)을 일으키거나, 낮은 신뢰도 점수를 내보낸다면, 게이트웨이는 원래 프롬프트를 더 강력한 모델로 자동으로 에스컬레이션(escalates)합니다. 캐스케이드는 에스컬레이션이 필요한 프롬프트의 지연 시간(latency)을 증가시키지만, 저가형 모델이 명확하게 실패했을 때만 고비용 모델이 실행되도록 보장합니다.

품질 유지: 성능 저하를 피하는 방법

저렴한 모델로 라우팅하는 것은 은밀한 품질 저하의 위험을 수반합니다. 비용 절감이 고객 유지율을 낮추거나 자동화된 파이프라인을 손상시킨다면, 최적화의 비즈니스 가치를 훼손하게 됩니다. 품질을 유지하려면 체계적인 벤치마킹(benchmarking), 수용 임계값(acceptance thresholds), 그리고 실행 시간 모니터링(runtime monitoring)이 필요합니다.

구체적인 작업 수용 기준 정의하기

품질은 일반적인 모델 역량 순위만으로는 판단할 수 없습니다. 광범위한 학술 벤치마크에서 점수가 낮게 나온 모델이라도 구조화된 JSON 추출 작업에서는 100% 정확도를 달성할 수 있습니다. 팀은 작업별 특화된 수용 기준을 정의해야 합니다:

• 구조적 유효성 (Structural validity): 출력물이 요구되는 Pydantic 또는 JSON 스키마를 엄격하게 준수하는가?
• 사실 회상 및 정확도 (Factual recall and precision): 응답이 참조 컨텍스트에 존재하는 정확한 개체들을 포함하고 있는가?
• 관련성 및 톤 (Relevance and tone): 생성된 텍스트가 안전 매개변수와 기업 목소리 지침을 준수하는가?

오프라인 평가 데이터셋 구축하기

실시간 트래픽을 저비용 모델로 돌리기 전에, 팀들은 골든(golden) 평가 데이터셋을 기준선 프론티어 모델과 후보 소형 모델 모두에 걸쳐 실행해야 합니다. 표준 평가 워크플로우는 다음을 포함합니다:

1. 역사적 트래픽 분포를 나타내는 1,000개에서 5,000개의 익명화된 프로덕션 프롬프트 샘플링.
2. 프론티어 모델(예: Claude 3.5 Sonnet)과 대상 경제성 모델(예: Claude 3.5 Haiku 또는 Llama 3.3 70B) 모두로부터 완성본 생성.
3. 자동화된 결정론적 지표(코드 컴파일, 구문 검사)와 LLM-as-a-judge 스코어링 프레임워크 전반에 걸쳐 완성본 점수 산정.
4. 경제성 모델이 특정 카테고리 내의 쿼리 중 최소 95%에서 동등한 수준을 달성하는 라우팅 임계값 설정.

카나리 배포 및 가드레일 구현하기

특정 작업 카테고리 전체를 하룻밤 사이에 더 저렴한 모델로 전환하는 것은 불필요한 운영 위험을 초래합니다. 프로덕션 롤아웃은 가중치 라우팅(weighted routing)을 사용하여 소량의 요청(예: 트래픽의 5%)만 후보 모델로 보내면서 오류율, 사용자 '좋아요' 신호, 지연 시간 변화를 모니터링해야 합니다.

프로덕션 메트릭이 확립된 품질 기준선에서 벗어날 경우, 라우팅 계층은 애플리케이션 재시작을 요구하지 않고도 자동으로 프론티어 제공업체로 폴백(fall back)해야 합니다.

기술 아키텍처: 게이트웨이 계층에서 라우팅 구현하기

모델 라우팅 로직을 애플리케이션 서비스에 직접 작성하는 것은 유지보수 오버헤드를 만듭니다. 모든 서비스는 별도의 제공업체 SDK, 재시도 구성 및 하드코딩된 로직을 필요로 하며, 이는 전체 규모의 라우팅 조정 관리를 어렵게 만듭니다.

| APPLICATION LAYER |
| (Calls standard OpenAI-compatible base URL: http://gateway.internal:8080/v1) |
...

애플리케이션과 업스트림 제공업체 사이에 인프라 게이트웨이를 배치하면, 통합된 API 뒤에서 라우팅, 비용 회계(cost accounting), 그리고 폴백(fallbacks)을 표준화할 수 있습니다.

Bifrost를 이용한 게이트웨이 레벨 제어