모든 LLM을 제어하는 하나의 API — 30개 이상의 AI 제공업체를 통합하는 24K★ 오픈 소스 미들웨어

요약 (Summary)

One API (24K★, MIT 라이선스)는 OpenAI, Claude, DeepSeek, Gemini, 로컬 Ollama 등 30개 이상의 LLM (Large Language Model) 제공업체를 단일 OpenAI 호환 엔드포인트(endpoint) 뒤로 통합합니다. Docker로 한 번 배포하고 모든 API 키를 추가하면, 모든 도구와 앱이 갑자기 어떤 모델과도 작동하게 됩니다. 로드 밸런싱 (Load balancing), 예산 제어 (Budget control), 채널 페일오버 (Channel failover), 사용량 분석 (Usage analytics) 기능이 내장되어 있습니다.

해결하는 문제 (The Problem It Solves)

문제	현재의 해결 방식	One API 사용 시
제공업체마다 다른 SDK	10개의 패키지 설치	단 하나의 OpenAI SDK
...

아키텍처 (Architecture)

사용자 앱 (OpenAI SDK) → One API 서버 → OpenAI/Claude/DeepSeek/Gemini/Ollama/30개 이상

Go 백엔드가 표준 OpenAI 형식을 각 제공업체의 네이티브 (native) 형식으로 변환합니다.

지원되는 제공업체 (Supported Providers)

카테고리	제공업체
주요 AI	OpenAI, Anthropic Claude, Google Gemini, Mistral
...

주요 기능 (Key Features)

통합 API (Unified API) — 모든 제공업체가 OpenAI 형식을 사용합니다. 기존 코드를 변경 없이 그대로 사용할 수 있습니다.

채널 관리 (Channel Management) — API 키 간의 로드 밸런싱 (Load balancing), 페일오버 (Failover), 우선순위 설정.

예산 제어 (Budget Control) — 사용자별 할당량 (Quotas), 월간 한도, 토큰 (Token) 계산.

사용량 분석 (Usage Analytics) — 대시보드: 분당 요청 수 (requests/minute), 비용 상세 내역, 모델 인기 순위.

빠른 시작 (Quick Start)

docker run -d --restart always \
  -p 3000:3000 \
  -v /home/ubuntu/data:/data \
...

실질적인 활용 사례 (Practical Use Case)

DeepSeek를 기본 모델(저렴함)로 설정하고, Ollama를 로컬 폴백 (fallback)으로, Claude를 복잡한 편집용으로 설정하세요. 하나의 엔드포인트로 마찰 없이 사용할 수 있습니다.

FAQ

Q: 프로덕션 환경에서 사용 가능한가요? (Production-ready?) A: 네. 24K★ 스타, 100명 이상의 기여자 (contributors)가 있습니다.

Q: 스트리밍을 지원하나요? (Supports streaming?) A: 네. 모든 제공업체에 대해 SSE 스트리밍을 지원합니다.

Q: MIT 라이선스인가요? (MIT license?) A: 어디에서나 사용, 수정, 판매가 가능합니다. 제한이 없습니다.

Q: 성능 오버헤드 (Performance overhead)가 있나요? A: 최소 수준입니다. Go 백엔드가 약 5ms의 지연 시간 (latency)을 추가합니다.

24K★이며 계속 성장 중입니다. 모든 것을 제어하는 하나의 엔드포인트.