LLM 게이트웨이

LLM Gateway는 대규모 언어 모델(Large Language Models, LLMs)을 위한 오픈 소스 API 게이트웨이입니다. 이는 애플리케이션과 다양한 LLM 제공업체 사이에 미들웨어 역할을 하여 다음 기능을 수행할 수 있도록 합니다:

여러 LLM 제공업체(OpenAI, Anthropic, Google Vertex AI 등)로 요청 라우팅
여러 제공업체의 API 키를 한 곳에서 관리
모든 LLM 상호 작용에 걸친 토큰 사용량 및 비용 추적
LLM 사용을 최적화하기 위한 성능 지표 분석

기능 (Features)

통합 API 인터페이스 (Unified API Interface): 원활한 마이그레이션을 위해 OpenAI API 형식과 호환됩니다.
사용량 분석 (Usage Analytics): 요청, 사용된 토큰, 응답 시간 및 비용을 추적합니다.
다중 제공업체 지원 (Multi-provider Support): 단일 게이트웨이를 통해 다양한 LLM 제공업체에 연결할 수 있습니다.
성능 모니터링 (Performance Monitoring): 여러 모델의 성능과 비용 효율성을 비교할 수 있습니다.

시작하기 (Getting Started)

LLM Gateway를 두 가지 방법으로 사용할 수 있습니다:

호스팅 버전 (Hosted Version): 설정 없이 즉시 사용하려면 llmgateway.io를 방문하여 계정을 만들고 API 키를 받으세요.
셀프 호스팅 (Self-Hosted): 데이터와 구성에 대한 완전한 제어를 위해 LLM Gateway를 자체 인프라에 배포합니다.

Docker로 셀프 호스팅하기

통합 이미지에는 Docker 관리 볼륨을 사용하세요. 호스트 디렉토리를 /var/lib/postgresql/data에 직접 바인드 마운트하지 마십시오. 왜냐하면 컨테이너 내부의 PostgreSQL 초기화는 해당 디렉터리에 권한을 설정해야 하며, 이는 호스트 파일 시스템 및 소유권에 따라 실패할 수 있기 때문입니다.

export LLM_GATEWAY_SECRET="$(openssl rand -base64 32 | tr -d '\n')"
export GATEWAY_API_KEY_HASH_SECRET="$(openssl rand -base64 32 | tr -d '\n')"
./scripts/run-unified-container.sh

만약 일회성 docker run을 선호한다면, ~/some-host-dir 대신 이름 지정 볼륨(named volumes)을 사용하세요:

docker volume create llmgateway_postgres
docker volume create llmgateway_redis

...

LLM Gateway API 사용하기

curl -X POST https://api.llmgateway.io/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $LLM_GATEWAY_API_KEY" \
...

개발 환경 설정 (Development Setup)

의존성 설치 및 개발 환경 설정:

pnpm i && pnpm run setup


이 명령어는 모든 의존성을 설치하고, Docker 서비스를 시작하며, 데이터베이스 스키마를 동기화하고, 초기 데이터를 시딩합니다.

**WSL2 사용자 참고**: Docker Desktop이 실행 중이며 WSL 통합이 활성화되어 있는지 확인하십시오.

2. 개발 서버 시작:

```bash
pnpm dev

프로덕션 빌드:

pnpm build


## 폴더 구조 (Folder Structure)

- `apps/ui`: Next.js 대시보드 프론트엔드
- `apps/playground`: Lounge — 소비자 AI 채팅 앱 (Next.js)
- `apps/code`: Next.js Dev Plans + 코딩 도구 랜딩 및 대시보드
- `apps/airside`: Airside — 셀프 서비스 제공자 포털 (Next.js)
- `apps/api`: Hono 백엔드
- `apps/gateway`: LLM 요청 라우팅을 위한 API 게이트웨이
- `apps/docs`: 문서 사이트
- `ee/admin`: 내부 관리자 대시보드
- `packages/db`: Drizzle ORM 스키마 및 마이그레이션
- `packages/models`: 모델 및 제공자 정의
- `packages/shared`: 공유 타입 및 유틸리티

## 제공자 추가 (Adding a provider)

새로운 제공자를 추가하는 풀 리퀘스트는 받지 않습니다. 추론(Inference) 제공자는 [Airside](https://airside.llmgateway.io), 즉 셀프 서비스 제공자 포털을 통해 온보딩되며, 이곳에서 모델 목록을 등록하고 관리할 수 있습니다.

## 라이선스 (License)

LLMGateway는 이중 라이선스로 제공됩니다:

- **오픈 소스 (Open Source)**: 핵심 기능은 AGPLv3 하에 라이선스가 부여되어 있습니다. 자세한 내용은 [LICENSE](LICENSE) 파일을 참조하십시오.
- **엔터프라이즈 (Enterprise)**: `ee/` 디렉토리의 상업적 기능에는 엔터프라이즈 라이선스가 필요하며, 다중 조직 관리는 화이트 라벨(white-label) 라이선스가 필요합니다. 자세한 내용은 [ee/LICENSE](ee/LICENSE)를 참조하십시오.

### 엔터프라이즈 기능에는 다음이 포함됩니다:

• 고급 청구 및 구독 관리
• 전체 요청 및 응답 페이로드 보존 (Retain All Data); 다른 플랜은 메타데이터만 보존
• 사용자 지정 제공업체 키 구성
• 팀 및 조직 관리
• 우선 지원
• 그리고 정의될 더 많은 기능들

엔터프라이즈 라이선싱의 경우, [email protected]로 문의해 주십시오.

LLM 게이트웨이 (LLM Gateway)

요약

핵심 포인트

LLM 게이트웨이

기능 (Features)

시작하기 (Getting Started)

Docker로 셀프 호스팅하기

LLM Gateway API 사용하기

개발 환경 설정 (Development Setup)

댓글

LLM 게이트웨이

기능 (Features)

시작하기 (Getting Started)

Docker로 셀프 호스팅하기

LLM Gateway API 사용하기

개발 환경 설정 (Development Setup)