envoyproxy/ai-gateway

Envoy AI Gateway는 애플리케이션 클라이언트로부터 생성형 AI (Generative AI) 서비스로 향하는 요청 트래픽을 처리하기 위해 Envoy Gateway를 사용하는 오픈 소스 프로젝트입니다.

Envoy AI Gateway를 사용할 때, 우리는 2계층 게이트웨이 (two-tier gateway) 패턴을 참조합니다. Tier One Gateway는 중앙 집중식 진입점 역할을 하며, Tier Two Gateway는 자체 호스팅되는 모델 서빙 클러스터로의 인그레스 (ingress) 트래픽을 처리합니다.

• Tier One Gateway는 인증 (authentication), 최상위 라우팅 (top-level routing), 그리고 글로벌 속도 제한 (global rate limiting)을 처리합니다.
• Tier Two Gateway는 LLM 추론 (inference) 최적화를 위한 엔드포인트 피커 (endpoint picker) 지원과 함께, 자체 호스팅되는 모델 액세스에 대한 세밀한 제어를 제공합니다.

Envoy AI Gateway는 광범위한 AI 제공업체를 지원하여, 선호하는 LLM 서비스와 쉽게 통합할 수 있습니다:

OpenAI | Azure OpenAI | Google Gemini | Vertex AI | AWS Bedrock | Mistral | Cohere | Groq | Together AI | DeepInfra | DeepSeek | Hunyuan | SambaNova | Grok | Tetrate Agent Router Service | Anthropic |

• Envoy AI Gateway를 소개하는 블로그.

• Envoy AI Gateway를 위한 문서 (Documentation).

• 몇 가지 간단한 단계로 Envoy AI Gateway를 사용하는 퀵스타트 (Quickstart).

• Envoy AI Gateway의 아키텍처 (architecture) 및 리소스 (resources)를 이해하기 위한 개념 (Concepts).

• Envoy AI Gateway에 관한 강연 및 발표.

• Slack: 아직 멤버가 아니라면 Envoy Slack 워크스페이스에 가입하세요. 이미 멤버라면 Envoy AI Gateway 채널을 사용하여 커뮤니티와 협업을 시작하세요.

우리는 CNCF 행동 강령 (Code of conduct)을 준수합니다.

Envoy AI Gateway 팀과 커뮤니티 멤버들은 매주 월요일에 모입니다. 회의에 등록하고, 의제 (agenda)를 추가하며, 참여해 주세요. 회의 상세 정보는 공개 문서에서 확인할 수 있습니다.

풀 리퀘스트 (pull requests)를 통해 프로젝트에 기여하려면, 프로젝트 빌드 및 테스트 방법에 대한 정보가 포함된 CONTRIBUTING.md 파일을 읽어주시기 바랍니다.

Cloud Native LLM 게이트웨이로서 Envoy Gateway를 사용하는 제안이 이 프로젝트의 시작에 영감을 주었습니다.