앱을 위해 단일 모델 제품군(model family)을 선택하는 것은 잘못된 선택입니다. 일부 중국 기반 모델들은 특정 작업에서 강력하고 비용 효율적이며, 일부 서구권 모델들은 다른 작업에서 앞서 나갑니다. 만약 당신이 중국 본토 외부에서 서비스를 구축하고 있다면, 실질적인 전략은 하나에 도박을 거는 것이 아니라, **각 요청을 적절한 모델로 라우팅(routing)**하고, 모델 전환을 새로운 통합 과정이 아닌 단 한 줄의 코드 변경으로 만드는 것입니다.

이 가이드는 단일 **OpenAI 호환 엔드포인트 (OpenAI-compatible endpoint)**를 통해 이를 수행하는 방법을 보여줍니다. 이를 통해 DeepSeek, Kimi, Qwen, Claude, GPT, Gemini를 모두 하나의 키와 하나의 청구서 뒤에 배치할 수 있으며, 추측 없이 작업별로 모델을 선택하는 방법을 알아봅니다.

공개 및 범위: 저는 OpenAI 호환 게이트웨이인 daoxe에서 일하고 있습니다. 이 서비스는 중국 본토에서는 사용할 수 없습니다. 이 글은 두 생태계에 한 곳에서 접근하고자 하는 중국 본토 _외부_의 개발자들(해외 개발자, 해외 화교, 그리고 러시아, 브라질, 베트남, 터키 및 기타 지역의 사용자들)을 위해 작성되었습니다. 여기서 다루는 모든 내용은 표준 OpenAI 호환 설정이며, 원하는 모델을 제공하는 모든 엔드포인트에 연결할 수 있습니다.

왜 라우팅을 해야 하는가

단일 모델 앱이 가치를 놓치게 되는 세 가지 이유는 다음과 같습니다:

1. 작업 적합성 (Task fit). 모델들은 추론 (reasoning), 긴 문맥 (long-context), 코드 (code), 다국어 (multilingual), 구조화된 출력 (structured output), 비전 (vision) 등에서 불균등한 강점을 가집니다. 200페이지 분량의 PDF를 요약하는 데 가장 좋은 모델이 까다로운 리팩토링 (refactor) 작업에 반드시 가장 좋은 모델인 것은 아닙니다.
2. 비용 (Cost). 대량의 저위험 호출 (분류 (classification), 추출 (extraction), 라우팅 자체))의 경우, 더 저렴한 모델이 종종 충분히 괜찮으며, 절감된 비용은 복리로 쌓입니다. 비싼 모델은 그것이 꼭 필요한 호출을 위해 아껴두세요.
3. 회복 탄력성 (Resilience). 특정 제공업체의 속도 제한 (rate-limited)이 걸리거나 성능이 저하될 경우, 다른 제품군으로 장애 조치 (fail over)할 수 있는 능력은 서비스 운영을 지속하게 해줍니다.

그동안 걸림돌은 항상 통합 비용이었습니다. 벤더마다 다른 SDK, 키, 결제 방식, 그리고 응답의 특이점들이 문제였습니다. OpenAI 호환 엔드포인트는 이를 제거합니다. 모델 선택은 단순한 문자열 (string)이 됩니다.

메커니즘: 모델 선택은 문자열이다

모든 호출은 동일한 형태를 사용하며, 오직 model 필드만 변경됩니다:

curl https://daoxe.com/v1/chat/completions \
  -H "Authorization: Bearer $DAOXE_API_KEY" -H "Content-Type: application/json" \
  -d '{"model":"<MODEL_ID>","messages":[{"role":"user","content":"..."}]}'

사용자의 키로 실제로 호출할 수 있는 목록은 다음과 같습니다 — 권한이 있는 계정 범위 내의 소스는 다음과 같습니다:

curl https://daoxe.com/v1/models -H "Authorization: Bearer $DAOXE_API_KEY"

이 **정확한 ID (exact ids)**들을 사용하세요. 일반적으로 볼 수 있는 모델 제품군에는 중국계 모델(DeepSeek, Kimi, Qwen 및 기타)과 서구권 모델(Claude, GPT, Gemini)이 포함됩니다. 이 포스트에 있는 ID를 하드코딩(hardcode)하지 마세요. ID는 변경될 수 있으므로, /v1/models에서 읽어오세요.

간단한 작업 기반 라우터 (Python)

프레임워크는 필요하지 않습니다. 작업(task) → 모델 ID(model id)로 매핑되는 딕셔너리(dict)만으로도 가치의 90%를 얻을 수 있습니다:

import os, httpx

BASE = "https://daoxe.com/v1"
...

단일 엔드포인트(endpoint)와 단일 키를 사용하기 때문에, 라우트(route)를 추가하는 것은 단순히 딕셔너리 항목을 추가하는 것과 같습니다. 새로운 SDK나 새로운 인증 정보(credential)가 필요하지 않습니다. 오류 발생 시 다른 제품군으로 전환(fallback)하는 try/except 구문을 추가하면 저렴한 비용으로 탄력성(resilience)까지 확보할 수 있습니다.

라우트를 선택하는 방법 (감에 의존하지 않고)

평판에 따라 라우팅하지 마세요. 귀하의 워크로드(workload)에 대한 증거를 바탕으로 라우팅하세요:

• 작은 평가 세트(eval set) 구축: 작업 유형별로 정답이 알려진 실제 프롬프트(prompt) 세트를 만듭니다.
• 각 후보 모델 실행: 평가 세트를 통해 각 모델을 실행하고, 정확도(accuracy)와 함께 지연 시간(latency, p50/p95) 및 토큰 비용을 기록합니다. (작은 테스트 프레임워크(harness)가 이를 수행할 수 있습니다. 저는 별도로 재현 가능한 게이트웨이 벤치마크(gateway benchmark)를 작성했습니다.)
• 품질 기준을 통과하는 가장 저렴한 모델 선택: 감당할 수 있는 가장 비싼 모델이 아니라, 각 작업에 대해 품질 기준을 충족하는 가장 저렴한 모델을 선택하세요.
• 주기적인 재확인: 새로운 모델 버전이 끊임없이 출시됩니다. 지난 분기에 최적이었던 라우트가 지금은 아닐 수 있습니다.

가격에 관하여 구체적으로 말씀드리자면: 가격은 계속 변하기 때문에 여기에서 수치를 인용하지는 않겠습니다. 제공업체의 가격 페이지를 확인하고, 실제 $/1M 수치를 지연 시간 및 정확도와 함께 비교해 보세요. 올바른 라우팅은 단일 축의 선택이 아니라 세 가지 요소 간의 트레이드오프(trade-off)입니다.

무엇을 얻고 있는지 확인하는 것을 잊지 마세요

모델 제품군(families) 간의 라우팅은 검증(verification)을 덜 중요하게 만드는 것이 아니라, 오히려 더 중요하게 만듭니다. 하나의 엔드포인트(endpoint) 뒤에 여러 모델이 있는 경우, 각 ID가 실제로 주장하는 역할을 수행하는지, 그리고 조용히 교체되거나 잘려 나가지 않는지 확인해야 합니다. 모델의 자기 보고(self-report)가 아닌 **동작(behavior)**을 테스트하세요. 토크나이저 지문(tokenizer fingerprint), 역량 하한선 체크(capability-floor check), 그리고 긴 문맥 바늘 찾기 테스트(long-context needle test)를 통해 흔한 속임수들을 잡아낼 수 있습니다. (이를 위한 오픈 소스 프로브(probes)들이 있습니다. 이 방법은 별도의 포스트에서 다루었습니다.) 좋은 엔드포인트라면 사용자가 이를 대상으로 테스트를 수행하는 것을 허용합니다.

솔직한 입장 정리

몇 가지 사항을 분명히 말씀드립니다:

• 이 서비스는 중국 본토 외부를 위한 것입니다. daoxe는 중국 본토에 서비스를 제공하지 않습니다. 대상은 해외 개발자 및, 두 생태계를 한곳에서 이용하고 비용을 지불하는 것이 번거로운 지역의 사용자들입니다.
• "중국식 vs 서구식"은 품질 순위가 아니라 모델의 기원에 관한 것입니다. 모델이 어디에서 왔느냐가 아니라, 측정된 작업 적합도(task fit)와 비용을 기준으로 라우팅하세요.
• 하나의 키는 편의를 위한 것이지 마법이 아닙니다. 이는 통합 및 결제의 마찰을 제거할 뿐, 작은 모델을 큰 모델로 만들어주지는 않습니다. 모델을 작업에 맞게 매칭하세요.

daoxe는 제가 이 용도로 사용하는 엔드포인트입니다. https://daoxe.com/v1에서 OpenAI 호환 방식을 지원하며, Claude 전용 도구를 위한 네이티브 Anthropic Messages를 지원합니다. 하나의 키로 여러 모델(중국 기원 및 서구 모델)을 사용하고, 하나의 청구서로 관리하며, 검증 가능하도록 설계되었습니다. 현재 모델과 가격은 가격 페이지를 참조하세요. 귀하의 키로 호출할 수 있는 모델은 GET /v1/models를 사용하세요.

요약 (TL;DR)

• 하나의 제품군만 선택하지 마세요 — 각 작업을 가장 좋거나 저렴한 모델로 라우팅하세요.
• 하나의 OpenAI 호환 엔드포인트를 사용하면 모델 선택이 문자열(string) 하나로 해결됩니다: 하나의 키, 하나의 청구서, 벤더별 SDK 불필요.
• 평판이 아닌 작은 평가 세트(정확도 + p50/p95 + $/1M)를 기준으로 라우팅을 선택하세요. 버전이 출시될 때마다 다시 확인하세요.
• 각 모델의 동작을 검증하고, 이것은 중국 본토 외부에서의 사용을 위한 것임을 기억하세요.