AI Gateway는 1밀리초 (sub-millisecond) 미만의 오버헤드로 250개 이상의 LLM (Large Language Models)에 대한 빠르고 통합된 액세스를 제공하는 오픈 소스 (open-source) API 프록시입니다.

• 언어, 비전 (vision), 오디오 (audio) 및 이미지 (image) 제공업체 전반에 걸쳐 1600개 이상의 모델 (models)로 라우팅 (Routes)
• 프로덕션 (production) 신뢰성을 위해 자동 재시도 (automatic retries), 폴백 (fallbacks) 및 부하 분산 (load balancing) 처리
• 크기는 122kb이며 프로덕션 (production) 환경에서 매일 10B개 이상의 토큰 (tokens)을 처리
• 단일 npx 명령어로 로컬에 배포하거나 AWS EC2로 배포 가능

여기에서 살펴보세요: