Bifrost는 하나의 OpenAI와 호환되는 API를 통해 23개 이상의 제공업체(OpenAI, Anthropic, AWS Bedrock, Google Vertex 등)에 대한 접근을 통합하는 고성능 AI 게이트웨이입니다. 설정 없이 몇 초 만에 배포할 수 있으며, 자동 장애 조치(automatic failover), 부하 분산(load balancing), 시맨틱 캐싱(semantic caching) 및 엔터프라이즈급 기능을 얻을 수 있습니다.

1분 안에 제로 상태에서 운영 준비가 된 AI 게이트웨이까지 도달하세요.

단계 1: Bifrost Gateway 시작하기

# 로컬에 설치하고 실행
npx -y @maximhq/bifrost
# 또는 Docker 사용
...

단계 2: 웹 UI를 통해 설정하기

# 내장된 웹 인터페이스 열기
open http://localhost:8080

단계 3: 첫 번째 API 호출 수행하기

curl -X POST http://localhost:8080/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{ 
...

이것으로 끝! 시각적 설정을 위한 웹 인터페이스, 실시간 모니터링 및 분석 기능을 갖춘 AI 게이트웨이가 실행됩니다.

전체 설정 가이드:

• Gateway Setup - HTTP API 배포
• Go SDK Setup - 직접 통합

Bifrost는 대규모로 운영되는 프로덕션 AI 시스템을 가진 팀을 위한 엔터프라이즈급 사설(private) 배포를 지원합니다. 사설 네트워킹, 사용자 지정 보안 제어 및 거버넌스 외에도, 엔터프라이즈 배포를 통해 적응형 부하 분산(adaptive load balancing), 클러스터링(clustering), 가드레일(guardrails), MCP 게이트웨이 등 엔터프라이즈급 규모와 신뢰성을 위해 설계된 고급 기능을 사용할 수 있습니다.

통합 인터페이스- 모든 제공업체를 위한 단일 OpenAI 호환 API
다중 제공업체 지원- OpenAI, Anthropic, AWS Bedrock, Google Vertex, Azure, Cerebras, Cohere, Mistral, Ollama, Groq 및 기타
자동 장애 조치- 다운타임 없이 제공업체와 모델 간 원활한 장애 전환(failover)
부하 분산- 여러 API 키 및 제공업체에 걸친 지능형 요청 분배

Model Context Protocol (MCP) - AI 모델이 외부 도구(파일 시스템, 웹 검색, 데이터베이스)를 사용할 수 있도록 지원 의미론적 캐싱 (Semantic Caching) - 의미적 유사성을 기반으로 지능적인 응답 캐싱을 통해 비용 및 지연 시간 감소 멀티모달 지원 (Multimodal Support) - 텍스트, 이미지, 오디오, 스트리밍을 공통 인터페이스 뒤에서 모두 지원 커스텀 플러그인 (Custom Plugins) - 분석, 모니터링 및 사용자 정의 로직을 위한 확장 가능한 미들웨어 아키텍처 거버넌스 (Governance) - 사용량 추적, 속도 제한(rate limiting), 세분화된 접근 제어권 예산 관리 (Budget Management) - 가상 키, 팀, 고객 예산을 통한 계층적 비용 제어 사용자 프로비저닝 (User Provisioning) (OIDC) - OAuth 2.0 / OIDC 로그인 및 팀, 역할, 사업 단위를 위한 백그라운드 디렉토리 동기화 관측 가능성 (Observability) - 네이티브 Prometheus 메트릭, 분산 추적(distributed tracing), 포괄적인 로깅 시크릿 관리 (Secrets Management) - 환경 변수 및 배포 시크릿을 사용한 안전한 API 키 관리 제로 설정 시작 (Zero-Config Startup) - 동적 제공업체 구성을 통해 즉시 시작 드롭인 대체 (Drop-in Replacement) - 한 줄의 코드로 OpenAI/Anthropic/GenAI API를 대체 SDK 통합 (SDK Integrations) - 코드 변경 없이 인기 있는 AI SDK에 대한 네이티브 지원 구성 유연성 (Configuration Flexibility) - 웹 UI, API 기반 또는 파일 기반 구성 옵션

Bifrost는 최대의 유연성을 위해 모듈식 아키텍처를 사용합니다:

bifrost/
├── npx/ # 쉬운 설치를 위한 NPX 스크립트
├── core/ # 핵심 기능 및 공유 컴포넌트
...

필요에 맞는 배포 방법을 선택하세요:

적합한 경우: 언어 독립적인 통합, 마이크로서비스, 프로덕션 배포

# NPX - 30초 만에 시작
npx -y @maximhq/bifrost
# Docker - 프로덕션 준비 완료
...

기능: 웹 UI, 실시간 모니터링, 다중 제공업체 관리, 제로 설정 시작

더 알아보기: 게이트웨이 설정 가이드

적합한 경우: 최대의 성능과 제어를 갖춘 직접적인 Go 통합

go get github.com/maximhq/bifrost/core

기능: 네이티브 Go API, 임베디드 배포, 커스텀 미들웨어 통합

더 알아보기: Go SDK 가이드

다음과 같은 경우에 가장 적합합니다: 코드 변경 없이 기존 애플리케이션을 마이그레이션하는 경우

# OpenAI SDK
- base_url = "https://api.openai.com"
+ base_url = "http://localhost:8080/openai"
...

더 알아보기: 통합 가이드

Bifrost는 AI 요청에 거의 제로 오버헤드를 추가합니다. 지속적인 5,000 RPS 벤치마크에서 이 게이트웨이는 요청당 단 11 µs의 오버헤드만 추가했습니다.

주요 성능 하이라이트:

완벽한 성공률- 5k RPS에서도 100%의 요청 성공률
최소 오버헤드- 요청당 15 µs 미만의 추가 지연 시간
효율적인 대기열 관리- 마이크로초(µs) 이하의 평균 대기 시간
빠른 키 선택- 가중치 적용 API 키를 선택하는 데 약 10 ns 소요

전체 벤치마크: 성능 분석

전체 문서: https://docs.getbifrost.ai

• 게이트웨이 설정 - 30초 만에 HTTP API 배포

• Go SDK 설정 - 직접적인 Go 통합

• 제공업체 구성 - 다중 제공업체 설정

• 다중 제공업체 지원 - 모든 제공업체를 위한 단일 API

• MCP 통합 - 외부 도구 호출

• 시맨틱 캐싱 - 지능형 응답 캐싱

• 폴백 및 로드 밸런싱 - 신뢰성 기능

• 예산 관리 - 비용 통제 및 거버넌스

• OpenAI SDK - 드롭인(Drop-in) OpenAI 대체품

• Anthropic SDK - 드롭인(Drop-in) Anthropic 대체품

• AWS Bedrock SDK - AWS Bedrock 통합

• Google GenAI SDK - 드롭인(Drop-in) GenAI 대체품

• LiteLLM SDK - LiteLLM 통합

• Langchain SDK - Langchain 통합

• 사용자 지정 플러그인 - 기능 확장

• 클러스터링 - 다중 노드 배포

• 비밀 관리 - 안전한 키 관리

• 프로덕션 배포 - 확장 및 모니터링

커뮤니티 지원과 토론을 위해 저희 Discord에 참여하세요.

다음 사항에 대한 도움말 받기:

• 빠른 설정 지원 및 문제 해결
• 모범 사례 및 구성 팁
• 커뮤니티 토론 및 지원
• 통합에 대한 실시간 도움말

모든 종류의 기여를 환영합니다! 다음을 보려면 저희 Contributing Guide를 확인하세요:

• 개발 환경 설정
• 코드 컨벤션 및 모범 사례
• 풀 리퀘스트(pull request) 제출 방법
• 로컬 빌드 및 테스트

개발 요구 사항 및 빌드 지침은 Development Setup Guide를 참고하세요.

본 프로젝트는 Apache 2.0 라이선스에 따라 라이선스가 부여되었습니다. 자세한 내용은 LICENSE 파일을 확인해 주세요.

Maxim이 ❤️로 만들었습니다