AlephantAI/AIephant-AI-Agent-Gateway

50개 이상의 제공업체, 320개 이상의 모델, 그리고 커스텀 모델 백엔드를 지원하는 오픈 소스 OpenAI 호환 AI Gateway (AI 게이트웨이).

하나의 개발자 친화적인 통합 지점에서 트래픽을 라우팅(Route)하고, 제공업체 API를 조정하며, 응답을 캐싱(Cache)하고, 정책을 강제하며, 모든 요청을 관찰(Observe)하세요.

Quickstart · Website · Features · IDE · Architecture · Screenshots · Comparison · Community · Docs

시작하기 -> ·
간체 중국어

Alephant AI Gateway는 프로덕션 (Production) AI 애플리케이션을 위한 OpenAI 호환 제어 계층(Control layer)으로, 호스팅된 SaaS 또는 셀프 호스팅(Self-hosted) 게이트웨이로 사용할 수 있습니다. 게이트웨이가 제공업체별 조정, 모델 라우팅 (Model routing), 정책 강제 (Policy enforcement), 계층형 캐싱 (Layered caching), 재시도 (Retries), 폴백 (Fallback), 사용 메타데이터 (Usage metadata), 요청 로깅 (Request logging) 및 감사 추적 (Audit trails)을 처리하는 동안 개발자에게는 하나의 안정적인 API 표면을 제공합니다.

모든 애플리케이션을 각 제공업체에 직접 연결하는 대신, 팀은 한 번만 연결하여 50개 이상의 제공업체, 320개 이상의 모델, 그리고 커스텀 모델 백엔드로 라우팅할 수 있습니다. 관리형 워크스페이스가 필요하다면 Alephant Cloud로 시작하거나, 프라이빗 인프라, BYO 키 (Bring Your Own keys), 직접적인 운영 제어가 필요한 경우 게이트웨이를 셀프 호스팅하세요.

import OpenAI from "openai"
const openai = new OpenAI({
baseURL: "https://ai.alephant.io/v1",
...

Alephant AI Gateway는 현재 베타 (0.2.0-beta.30) 단계에 있습니다. Alephant Cloud는 호스팅된 SaaS 경로이며, 이 저장소는 셀프 호스팅 및 플랫폼 연결 배포를 위한 게이트웨이 런타임 (Runtime)을 제공합니다. 퍼블릭 API (Public APIs), 설정 필드 및 내부 빌드 모드는 안정적인 1.0 버전 출시 전에 변경될 수 있습니다.

AI 애플리케이션은 단일 모델 프로토타입에서 많은 제공업체, 에이전트 (Agents), 도구 (Tools) 및 커스텀 모델 백엔드를 호출하는 프로덕션 시스템으로 이동하고 있습니다. 게이트웨이가 없다면 모든 팀은 제공업체 어댑터 (Provider adapters), 라우팅 규칙, 키 관리, 사용 메타데이터, 재시도, 캐싱 및 요청 로그와 같은 동일한 운영 계층을 매번 다시 구축하게 됩니다.

Alephant AI Gateway는 해당 계층을 하나의 OpenAI 호환 API 뒤로 중앙 집중화합니다. 이를 통해 개발자에게는 안정적인 통합 인터페이스를 제공하는 동시에, 플랫폼 팀은 제공자 (provider) 액세스 전의 정책 적용, 반복 호출 전의 캐싱 (cache), 장애 발생 전의 폴백 (fallback), 그리고 운영 사고 전의 감사 추적 (audit trails)을 확보할 수 있습니다.

목표는 간단합니다. 개발자의 속도를 늦추지 않으면서 AI 트래픽을 관찰 가능하고 (observable), 관리 가능하며 (governable), 신뢰할 수 있게 (reliable) 만드는 것입니다. 자세히 알아보기 ->

기능	Alephant AI Gateway가 제공하는 것
단일 API 인터페이스	채팅, 응답, 임베딩 (embeddings), 이미지, 그리고 제공자 스타일의 모델 이름을 위한 OpenAI 호환 `/v1/` 및 `/ai/` 경로
...
인터페이스	용도
---	---
`/v1/*`	기존 SDK 및 에이전트 클라이언트를 위한 즉시 사용 가능한 (Drop-in) OpenAI 호환 API
`/router/{id}/*`	구성된 라우터 (router)를 통한 정책 기반 라우팅
`/{provider}/*`	명시적인 업스트림 (upstream) 제어를 원하는 경우의 직접적인 제공자 패스스루 (passthrough)
`model=provider/model_id`	애플리케이션 코드를 변경하지 않고 제공자와 모델을 선택
커스텀 백엔드 (Custom backends)	프라이빗 모델이나 자체 호스팅된 런타임을 동일한 게이트웨이 계약 (gateway contract) 뒤에 배치

모든 요청은 동일한 게이트웨이 생명주기(lifecycle)를 통과합니다: 글로벌 미들웨어 (global middleware), 라우팅 (routing), 제공자 매핑 (provider mapping), 디스패치 (dispatch), 캐시 (cache), 폴백 (fallback), 그리고 비동기 로깅 (async logging). 진입 경로는 원하는 제어 수준에 따라 달라집니다:

경로	용도
`/v1/*`	`model=provider/model_id`를 사용하는 통합된 OpenAI 스타일 액세스
`/router/{id}/*`	구성된 라우터를 통한 정책 기반 라우팅
`/{provider}/*`	명시적인 업스트림을 원하는 경우의 직접적인 제공자 패스스루 (passthrough)

OpenAI 호환 API, Anthropic Messages, Gemini, Bedrock, Ollama, OpenRouter 스타일의 카탈로그, 그리고 커스텀 백엔드를 포함하여 50개 이상의 제공자와 320개 이상의 모델에 대해 단일한 OpenAI 스타일의 요청 형식을 사용하세요. 클라이언트는 model=provider/model_id를 통해 런타임을 선택합니다.

Alephant는 제공자를 해결하고, 적절한 어댑터 (adapter)를 적용하며, 제공자별 필드를 매핑하고, 정규화된 (normalized) OpenAI 스타일의 응답을 반환합니다.

README에 모든 모델을 나열하는 대신, 이 섹션은 규약 (contract)에 집중합니다: 하나의 요청 형식이 입력되면, 하나의 일관된 응답이 출력됩니다. 제공자 (provider)와 모델 카탈로그는 애플리케이션 코드의 변경을 강제하지 않고도 독립적으로 진화할 수 있습니다.

주류 모델: GPT-4o · GPT-4.1 · o3 · Claude 3.5/3.7 Sonnet · Claude Opus · Gemini 1.5/2.0 · Llama 3/4 · Mistral Large · Command R+

제공자 생태계: OpenAI · Anthropic · Google Gemini · AWS Bedrock · Azure OpenAI · OpenRouter · Together AI · Fireworks · Grox · Cohere · Mistral · Perplexity · DeepSeek · xAI · Ollama

에이전트 클라이언트 호환성: Cursor · Codex · opencode · Antigravity

Alephant AI Gateway는 지원되는 IDE 내부에서 AI 지원 개발을 위한 리포지토리 수준의 도구 (tooling)를 제공합니다.

IDE / 에이전트 클라이언트	상태	포함 사항
Cursor	준비됨	프로젝트 아키텍처 및 코드 컨벤션 규칙 (code-convention rules), 개발 및 API 워크플로우 가이드, 게이트 모듈 구현 기술 (gated-module-implementation skill (Skill)), 파일 기반 작업 관리 (file-based task management (Task Magic)) — `.cursor` 디렉토리 참조; 또한 Agent Settings → Models에서 게이트웨이 설정
...

기존의 OpenAI SDK를 그대로 유지하면서 베이스 URL (base URL)과 인증 헤더 (authorization header)만 변경하십시오. 귀하의 앱은 익숙한 OpenAI 스타일의 호출을 계속 사용하는 동안, Alephant Cloud는 관리형 워크스페이스 (managed workspace), 호스팅된 게이트웨이 엔드포인트 (hosted gateway endpoint), 제공자 해석 (provider resolution), 라우팅 (routing), 캐싱 (caching), 로깅 (logging) 및 폴백 (fallback)을 제공합니다.

게이트웨이 키를 설정하십시오:

export ALEPHANT_API_KEY="vk-..."

curl로 스모크 테스트 (Smoke-test) 수행:

curl https://ai.alephant.io/v1/chat/completions \
-H "Authorization: Bearer $ALEPHANT_API_KEY" \
-H "Content-Type: application/json" \
...

또는 OpenAI SDK를 사용하십시오:

import OpenAI from "openai"
const openai = new OpenAI({
baseURL: "https://ai.alephant.io/v1",
...

Alephant AI Gateway는 독립적인 셀프 호스팅 (Self-hosted) Rust 서비스로 실행할 수 있습니다. 여러분의 애플리케이션을 로컬 게이트웨이로 지정하고, 이를 자체 PostgreSQL/Redis/Qdrant/S3 호환 인프라에 연결할 수 있으며, 배포 환경에서 제공자 키 (Provider keys), 라우터 설정 (Router configuration), 캐시 동작 (Cache behavior) 및 로깅 대상 (Logging destinations)을 제어할 수 있습니다.

셀프 호스팅은 게이트웨이를 자체 네트워크 내부에서 운영해야 하거나, 상위 제공자 자격 증명 (Upstream provider credentials)에 대한 완전한 제어권이 필요한 경우, 또는 Alephant Cloud에 연결하기 전에 제공자 적응 및 라우팅 동작을 테스트해야 할 때 유용합니다.

의존성 (Dependency)	필요 여부	용도
Rust 툴체인 (Rust toolchain)	예	게이트웨이 서비스 빌드 및 실행
...

ai-gateway 빌드하기

정확히 다음 중 하나를 사용하여 빌드하세요:

--features external

또는

--features internal

cargo build -p ai-gateway --features external

공개/오픈 배포 모드 (Public/open deployment mode)의 경우 external을 사용하고, 환경에서 사용하는 내부 KV/백엔드 가정 (Internal KV/backend assumptions)에 따라 실행할 때는 internal을 사용하세요. 한 번에 하나의 기능 세트만 활성화해야 합니다.

cargo run -p ai-gateway --features external -- -c ./ai-gateway/config/local.yaml

설정 파일 (Config file)은 데이터베이스 연결, 제공자 설정, 캐시 서비스, 관찰 가능성 (Observability) 및 런타임 동작을 제어합니다. 로컬 개발을 위해서는 ai-gateway/config/local.yaml로 시작하여 서비스에 맞게 조정하십시오.

게이트웨이는 YAML 설정 파일을 읽으며 민감한 값에 대한 환경 변수 재정의 (Environment overrides)를 지원합니다. 제공자 키, S3 자격 증명, Redis URL과 같은 비밀 정보 (Secrets)는 가능한 한 커밋된 YAML 파일에 포함하지 마십시오.

유용한 시작 지점:

파일	용도
`ai-gateway/config/local.yaml`	로컬 개발 기본값
`ai-gateway/config/local-cloud.yaml`	로컬 클라우드 스타일 통합
`ai-gateway/config/alephant-cloud.yaml`	Alephant 플랫폼 연결 배포 형태

환경 변수 재정의는 설정 로더 (Config loader)에서 사용하는 AI_GATEWAY__... 패턴을 따릅니다. 예를 들어 AI_GATEWAY__S3__ACCESS_KEY, AI_GATEWAY__S3__SECRET_KEY 등이 있습니다.

, 그리고 AI_GATEWAY__REQUEST_LOG__LOG_QUEUE_REDIS_URL이 있습니다.

로컬 게이트웨이 (gateway) 프로세스를 계속 실행 상태로 유지하십시오. 스모크 테스트 (smoke harness)는 기본 로컬 게이트웨이 URL인 http://localhost:8080을 대상으로 합니다.

cargo run -p test

또한 OpenAI 호환 SDK를 자체 호스팅 (self-hosted) 게이트웨이로 지정할 수도 있습니다:

import OpenAI from "openai"
const openai = new OpenAI({
baseURL: "http://localhost:8080/v1",
...

cargo test -p ai-gateway --tests --features "external integration"

Alephant AI Gateway는 관리형 SaaS 사용과, 팀이 제공자 자격 증명 (provider credentials), 요청 메타데이터 (request metadata), 그리고 배포 경계 (deployment boundaries)에 대한 제어권이 필요한 자체 호스팅 (self-hosted) 배포 모두를 위해 설계되었습니다.

영역	게이트웨이 동작
BYO 제공자 키 (BYO provider keys)	게이트웨이 설정 및 키 해석 (key resolution)을 통해 제공자 자격 증명을 사용자의 통제하에 둘 수 있습니다
...
기능	중요성
---	---
DB 리스너 기반 핫 리로드 (DB listener-driven hot reload)	게이트웨이를 재시작하지 않고도 라우트 (route) 및 키 변경 사항을 반영할 수 있습니다
...

게이트웨이를 중심으로 한 Alephant 워크스페이스 (workspace) 경험을 탐색해 보세요: 사용량 개요 (usage overview), 요청 로그 (request logs), 세션 (sessions), 캐시 가시성 (cache visibility), 인사이트 (insights), 그리고 거버넌스 제어 (governance controls)를 포함합니다.

개요 (Overview)	요청 로그 (Request logs)
워크스페이스 수준의 사용량, 요청 볼륨, 지연 시간 (latency), 토큰 (tokens), 그리고 캐시 상태 (cache health).
상태, 모델, 소스, 토큰, 비용, 그리고 업스트림 (upstream) 결과에 대한 요청 수준의 검사.

세션 (Sessions)	캐시 (Cache)
단계별 에이전트 및 애플리케이션의 여정, 소요 시간, 지출, 그리고 상태를 추적합니다.
캐시 히트 (cache hits), 절감액, 반복된 프롬프트 (prompts), 그리고 빈번하게 재사용되는 응답을 모니터링합니다.

인사이트 (Insights)	거버넌스 (Governance)
게이트웨이 트래픽으로부터 신뢰성, 지출, 그리고 효율성 신호를 도출합니다.
사용량 제한, 예산 제어, 속도 제한 (rate limits), 그리고 정책 규칙을 구성합니다.

Portkey, Alephant, 그리고 LiteLLM은 모두 훌륭한 프로젝트들이지만, 각기 다른 중심점을 바탕으로 시작되었습니다. Alephant는 에이전트 기반 (agentic) AI 제품을 출시하는 팀들을 위해 구축되었습니다. 즉, 호스팅된 SaaS 워크스페이스와 더불어 에이전트 개발, 비용 제어, 프로바이더 라우팅 (provider routing), 거버넌스 (governance), 그리고 운영 가시성 (operational visibility)을 위한 셀프 호스팅 (self-hosted) 게이트웨이 경로를 제공합니다.

프로젝트	주요 특징	적합한 대상
Portkey	엔터프라이즈 AI 게이트웨이 제어, 가드레일 (guardrails), 관리형 정책 워크플로	관리형 AI 컨트롤 플레인 (control plane)을 원하는 팀
...
기능	Portkey	Alephant
---	---	---
OpenAI 호환 API	예	예
...

Alephant의 차별점은 다음과 같은 요소들의 결합에 있습니다: 호스팅된 SaaS, 셀프 호스팅 Rust 게이트웨이, 에이전트 우선 (agent-first) 개발자 호환성, 비용 제어 워크플로, BYO-key (자체 키 사용) 거버넌스, 명시적인 프로바이더 적응 (provider adaptation), 그리고 워크스페이스 수준의 AI FinOps.

alephant-ai-gateway/
├── ai-gateway/ # 게이트웨이 서비스 크레이트 (crate)
├── crates/ # 공유 라이브러리 및 하네스 (harnesses)
...

웹사이트: alephant.io
문서: developers.alephant.io
Discord: discord.gg/tRQghcXhaH
Telegram: t.me/alephantai
X: x.com/alephantai

이슈 (issues)와 풀 리퀘스트 (pull requests)를 통한 기여를 환영합니다.

도움이 필요한 기여 분야:

프로바이더 어댑터 (provider adapter)의 정확성 및 API 매핑.
라우팅 (routing), 폴백 (fallback), 그리고 회복 탄력성 (resilience) 동작.
관측성 (observability) 및 진단 (diagnostics) 품질.
테스트 하네스 (test harness) 커버리지 및 문서의 명확성.

중대한 변경 사항의 경우, 재현 가능한 검증 단계와 피처 플래그 (feature-flag) 컨텍스트 (external 또는 internal)를 포함해 주세요.

GPL License 3.0에 따라 라이선스가 부여됩니다. 적용 가능한 경우 업스트림 라이선스 연속성이 유지됩니다.

AlephantAI/AIephant-AI-Agent-Gateway

요약

핵심 포인트

댓글