🚀 GPTRouter

당신의 AI 모델 게이트웨이 - 여러 LLM 및 이미지 모델을 원활하게 관리하고, 응답 속도를 높이며, 중단 없는 신뢰성을 보장합니다.

🌐 왜 GPTRouter인가요?

Writesonic에서 대규모 언어 모델 (LLM)의 세계를 탐구한 지 3년 만에, 우리는 주요 과제들을 식별하였고 이를 해결하기 위해 GPTRouter를 구축했습니다.

현실 세계의 과제 해결:

모델 독립성 (Model Independence): 모든 달걀을 한 바구니에 담지 마세요. GPTRouter를 사용하면 OpenAI와 같은 단 하나의 AI 모델에만 의존하는 한계에서 벗어날 수 있습니다. 만약 하나의 모델이 다운되면, GPTRouter는 다른 모델로 원활하게 전환하여 서비스를 계속 운영할 수 있게 합니다.
지연 시간 극복 (Beat the Latency): 느린 응답 시간? 이제 더 이상 문제가 아닙니다. GPTRouter는 특히 GPT-4와 같이 무거운 모델의 지연 시간 (Latency) 문제를 해결하도록 설계되었습니다. 지연 없이 더 부드럽고 빠른 사용자 상호작용을 경험하세요.
다양한 모델 통합 (Diverse Model Integration): 더 많은 것을 가질 수 있는데 왜 하나에 안주하시나요? GPTRouter는 여러 언어 및 이미지 생성 모델을 지원하며, 폴백 (Fallback) 옵션을 제공하여 시스템이 견고하고 다재다능하게 유지되도록 합니다.

주요 기능:

🌐 범용 API (Universal API): 모든 모델을 연결하는 하나의 API. OpenAI, Azure OpenAI, Anthropic, Replicate, Stable Diffusion, Cohere 등을 모델 간에 쉽게 전환할 수 있습니다.
🔀 스마트 폴백 (Smart Fallbacks): 서비스가 중단되지 않도록 유지하세요. GPTRouter는 기본 선택 모델을 사용할 수 없는 경우 자동으로 대체 모델로 전환합니다.
🔄 자동 재시도 (Automatic Retries): GPTRouter는 실패한 요청을 지능적으로 재시도하여 수동 작업의 노력을 줄이고 신뢰성을 향상시킵니다.
⏱️ 빠르고 반응성이 좋음 (Fast and Responsive): 지연 시간을 줄이도록 설계된 GPTRouter는 AI 모델과의 상호작용이 빠르고 효율적으로 이루어지도록 보장합니다.

지원 모델:

지원 모델	Completion (완성)	Streaming (스트리밍)	Async Completion (비동기 완성)	Async Streaming (비동기 스트리밍)
OpenAI	:white_check_mark:	:white_check_mark:	:white_check_mark:	:white_check_mark:
...
:heavy_exclamation_mark: 이미지 모델 (Image Models)에는 스트리밍 (Streaming)이 적용되지 않습니다.

:clock930: 출시 예정

:sparkles: 기여자(Contributors)를 환영합니다! :sparkles:

Quick Start (빠른 시작)

시작할 준비가 되셨나요? 방법은 다음과 같습니다:

Prerequisites (사전 요구 사항)

서버 실행하기

GPTRouter 서버를 로컬에서 실행하려면 여기의 단계를 따르세요.
또는, baseURL이 https://gpt-router-preview.writesonic.com/인 우리의 **Preview Deployment (미리보기 배포)**를 사용하세요. 여기에서 양식을 작성하여 API 키를 받으실 수 있습니다.

서버가 실행되면, 우리의 Python SDK를 사용하거나 API Docs (문서)를 통해 애플리케이션에 GPTRouter를 통합할 수 있습니다.
한편, 저희는 JS 및 기타 클라이언트를 작업 중이며 이를 도와줄 기여자(contributors)를 찾고 있습니다.

Using the Python SDK (Python SDK 사용하기)

pip를 사용하여 GPTRouter를 설치하세요:

pip install gptrouter

또는 conda를 사용하세요:

conda install gptrouter -c conda-forge

Usage Example (사용 예시)

from gpt_router.client import GPTRouterClient
from gpt_router.models import ModelGenerationRequest, GenerationParams
from gpt_router.enums import ModelsEnum, ProvidersEnum
...

Discover More (더 알아보기):
스트리밍 (streaming) 및 기타 예시를 여기에서 확인하세요.

On the Horizon (향후 계획):

Langchain 및 LlamaIndex와의 통합을 통해 선택지를 더욱 확장할 예정입니다.

📖 Documentation (문서)

포괄적인 문서를 보려면 다음을 방문하세요: GPTRouter Documentation (GPTRouter 문서)

🛠️ Installation and Setup (설치 및 설정)

상세한 설치 지침 및 설정 가이드는 시작하기 가이드 (Getting Started Guide)에서 확인할 수 있습니다.

🤝 Contributing (기여하기)

커뮤니티의 기여를 환영합니다! GPTRouter를 개선하는 데 관심이 있다면, 기여 가이드라인 (Contribution Guidelines)을 확인해 주세요.

Insights

Show HN: GPT Router – LLM을 위한 오픈 소스 API 게이트웨이 (OpenAI, Anthropic 등)

요약

핵심 포인트