BricksLLM: LLM을 프로덕션 환경에 배포하기 위한 AI 게이트웨이

[!TIP]
관리형 버전의 BricksLLM도 이용 가능합니다! 프로덕션 준비가 되어 있으며, BricksLLM 사용을 더 쉽게 할 수 있는 대시보드가 제공됩니다. 오늘 무료로 사용해 보세요!

BricksLLM은 Go 언어로 작성된 클라우드 네이티브 AI 게이트웨이입니다. 현재 OpenAI, Anthropic, Azure OpenAI 및 vLLM에 대한 네이티브 지원을 제공합니다. BricksLLM은 모든 LLM 프로덕션 사용 사례를 구동할 수 있는 엔터프라이즈급 인프라를 제공하는 것을 목표로 합니다. BricksLLM의 일부 사용 사례는 다음과 같습니다:

• 서로 다른 가격 등급에 따른 사용자별 LLM 사용량 제한 설정
• 사용자별 및 조직별 LLM 사용량 추적
• PII(개인 식별 정보)를 포함하는 요청 차단 또는 마스킹
• 장애 조치(failovers), 재시도(retries), 캐싱을 통해 LLM 신뢰성 향상
• 내부 개발/프로덕션 사용 사례를 위한 속도 제한 및 비용 제한이 적용된 API 키 배포
• 학생들을 위한 속도 제한 및 비용 제한이 적용된 API 키 배포

주요 기능 (Features)

• PII 탐지 및 마스킹
• 요청 제한(Rate limit)
• 비용 제어(Cost control)
• 비용 분석(Cost analytics)
• 요청 분석(Request analytics)
• 캐싱
• 요청 재시도(Request Retries)
• 장애 복구(Failover)
• 모델 접근 제어(Model access control)
• 엔드포인트 접근 제어(Endpoint access control)
• 모든 OpenAI 엔드포인트에 대한 네이티브 지원
• Anthropic에 대한 네이티브 지원
• Azure OpenAI에 대한 네이티브 지원
• vLLM에 대한 네이티브 지원
• Deepinfra에 대한 네이티브 지원
• 사용자 지정 배포(custom deployments) 지원
• 사용자 지정 모델 통합(Integration with custom models)
• Datadog 통합
• 개인 정보 보호 제어 기능을 갖춘 로깅

5단계 - Bricks API 키 생성

이전 단계에서 얻은 id를 settingId로 사용하여, 요청 제한(rate limit)을 2 req/min, 지출 한도(spend limit)를 25 cents로 설정하여 키를 생성합니다.

curl -X PUT http://localhost:8001/api/key-management/keys \
   -H "Content-Type: application/json" \
   -d '{ 
...

완료! 이제 모든 준비가 끝났습니다!!!

그 후, 요청을 저희 쪽으로 리디렉션하고 평소처럼 OpenAI를 사용하시면 됩니다. 예를 들면 다음과 같습니다:

curl -X POST http://localhost:8002/api/providers/openai/v1/chat/completions \
   -H "Authorization: Bearer my-secret-key" \
   -H "Content-Type: application/json" \
...

또는 SDK를 사용하고 있다면, baseURL을 저희 쪽으로 변경할 수 있습니다. 예를 들면 다음과 같습니다:

// OpenAI Node SDK v4
import OpenAI from 'openai';

...

업데이트 방법?

최신 버전으로 업데이트하려면

docker pull luyuanxin1995/bricksllm:latest

특정 버전으로 업데이트하려면

docker pull luyuanxin1995/bricksllm:1.4.0

문서화(Documentation)

환경 변수

이름 (Name)	타입 (type)	설명 (description)	기본값 (default)
POSTGRESQL_HOSTS	필수 (required)	Postgresql DB의 호스트. 쉼표(,)로 구분합니다.	localhost
POSTGRESQL_DB_NAME	선택 (optional)	Postgresql DB 이름.
POSTGRESQL_USERNAME	필수 (required)	Postgresql DB 사용자 이름.
POSTGRESQL_PASSWORD	필수 (required)	Postgresql DB 비밀번호.
POSTGRESQL_SSL_MODE	선택 (optional)	Postgresql SSL 모드.	disable
POSTGRESQL_PORT	선택 (optional)	Postgresql DB가 실행되는 포트.	5432
POSTGRESQL_READ_TIME_OUT	선택 (optional)	Postgresql 읽기 작업의 타임아웃 시간.	2m
POSTGRESQL_WRITE_TIME_OUT	선택 (optional)	Postgresql 쓰기 작업의 타임아웃 시간.	5s
REDIS_HOSTS	필수 (required)	Redis 호스트.

,
| localhost |

| REDIS_PASSWORD | optional | Redis 비밀번호 |
| REDIS_PORT | optional | Redis DB가 실행되는 포트 | 6379 |
| REDIS_READ_TIME_OUT | optional | Redis 읽기 작업에 대한 타임아웃 | 1s |
| REDIS_WRITE_TIME_OUT | optional | Redis 쓰기 작업에 대한 타임아웃 | 500ms |
| IN_MEMORY_DB_UPDATE_INTERVAL | optional | BricksLLM API 게이트웨이가 최신 키 구성을 위해 Postgresql DB를 폴링하는 간격 | 1s |
| STATS_PROVIDER | optional | statsd용 "datadog" 또는 호스트:포트(127.0.0.1:8125). |
| PROXY_TIMEOUT | optional | 프록시 HTTP 요청에 대한 타임아웃. | 600s |
| NUMBER_OF_EVENT_MESSAGE_CONSUMERS | optional | 토큰 카운팅 및 이벤트를 DB에 삽입하는 데 도움이 되는 이벤트 메시지 소비자 수. | 3 |
| AWS_SECRET_ACCESS_KEY | optional | PII 탐지 기능용. | 5s |
| AWS_ACCESS_KEY_ID | optional | PII 탐지 기능을 사용하는 용도. | 5s |
| AMAZON_REGION | optional | AWS 리전. | us-west-2 |
| AMAZON_REQUEST_TIMEOUT | optional | amazon 요청에 대한 타임아웃. | 5s |
| AMAZON_CONNECTION_TIMEOUT | optional | amazon 연결에 대한 타임아웃. | 10s |
| ADMIN_PASS | optional | 관리자 서버의 간단한 비밀번호. |

Admin Server

Swagger Doc

Proxy Server

Swagger Doc