오픈 소스 멀티 모델 API 게이트웨이를 만들었습니다

문제점
여러 AI 모델 제공업체를 관리하는 것은 매우 혼란스럽습니다. 각 업체마다 고유한 API, 가격 책정 방식, 특이 사항이 있습니다. 저는 여러 키를 번갈아 사용하는 것에 지쳐, 이 모든 것을 통제할 하나의 게이트웨이를 만들기로 결심했습니다.

제가 만든 것
13개의 제공업체로부터 제공되는 43개의 모델을 비용 추적 및 스마트 라우팅 (Smart Routing)과 함께 투명하게 연결하는 OpenAI 호환 API 게이트웨이를 구축했습니다.

라이브 데모 (비용 계산기): https://csx0574--calculator.modal.run

주요 기능

• 43개 모델, 13개 제공업체 지원 — OpenAI, Anthropic, Google, Meta, Mistral, Zhipu, DeepSeek, Minimax, Groq, Fireworks, Novita, Kampute, XAI
• OpenAI 호환 엔드포인트 (Endpoint) — 기존 OpenAI 코드를 그대로 교체하여 사용 가능
• 스마트 라우팅 (Smart Routing) — 비용, 속도 또는 균형에 따라 선택
• 비용 추적 (Cost tracking) — 각 요청의 비용이 정확히 얼마인지 확인 가능

빠른 시작
git clone https://github.com/csx0574/ai-multi-model-gateway.git
cd ai-multi-model-gateway/gateway
pip install -r requirements.txt
export OPENAI_API_KEY = sk-...
python gateway.py

OpenAI처럼 사용하기
import openai
openai.api_base = "https://csx0574--gateway.modal.run/v1"
openai.api_key = "user-api-key"
response = openai.ChatCompletion.create(
model="gpt-4o",
messages=[{"role": "user", "content": "Hello!"}]
)

스마트 라우팅 (Smart Routing)
요청 시 모드 (Mode)를 전달하여 게이트웨이가 선택하도록 할 수 있습니다:

모드 (Mode)	동작 (Behavior)
cost	작업을 수행할 수 있는 가장 저렴한 모델
speed	가장 빠른 응답
balanced	최적의 비용/품질 균형

이것이 중요한 이유
중국 AI 제공업체(Zhipu GLM, DeepSeek, Minimax)는 놀라울 정도로 경쟁력 있는 가격을 제공하며, 때로는 유사한 품질 대비 OpenAI보다 10배 더 저렴하기도 합니다. 하지만 이들은 흩어져 있어 통합하기가 어렵습니다. 이 게이트웨이는 이들을 하나의 OpenAI 호환 API 아래로 통합합니다.

GitHub: https://github.com/csx0574/ai-multi-model-gateway