🚀 GPTRouter
<img src="https://writesonic.s3.amazonaws.com/gpt-router/gpt-router-hero.png" height="500px" width="500px" />
당신의 AI 모델 게이트웨이 - 여러 LLM 및 이미지 모델을 원활하게 관리하고, 응답 속도를 높이며, 중단 없는 신뢰성을 보장합니다.
🌐 왜 GPTRouter인가요?
Writesonic에서 대규모 언어 모델 (LLM)의 세계를 탐구한 지 3년 만에, 우리는 주요 과제들을 식별하였고 이를 해결하기 위해 GPTRouter를 구축했습니다.
현실 세계의 과제 해결:
-
모델 독립성 (Model Independence): 모든 달걀을 한 바구니에 담지 마세요. GPTRouter를 사용하면 OpenAI와 같은 단 하나의 AI 모델에만 의존하는 한계에서 벗어날 수 있습니다. 만약 하나의 모델이 다운되면, GPTRouter는 다른 모델로 원활하게 전환하여 서비스를 계속 운영할 수 있게 합니다.
-
지연 시간 극복 (Beat the Latency): 느린 응답 시간? 이제 더 이상 문제가 아닙니다. GPTRouter는 특히 GPT-4와 같이 무거운 모델의 지연 시간 (Latency) 문제를 해결하도록 설계되었습니다. 지연 없이 더 부드럽고 빠른 사용자 상호작용을 경험하세요.
-
다양한 모델 통합 (Diverse Model Integration): 더 많은 것을 가질 수 있는데 왜 하나에 안주하시나요? GPTRouter는 여러 언어 및 이미지 생성 모델을 지원하며, 폴백 (Fallback) 옵션을 제공하여 시스템이 견고하고 다재다능하게 유지되도록 합니다.
주요 기능:
- 🌐 범용 API (Universal API): 모든 모델을 연결하는 하나의 API. OpenAI, Azure OpenAI, Anthropic, Replicate, Stable Diffusion, Cohere 등을 모델 간에 쉽게 전환할 수 있습니다.
- 🔀 스마트 폴백 (Smart Fallbacks): 서비스가 중단되지 않도록 유지하세요. GPTRouter는 기본 선택 모델을 사용할 수 없는 경우 자동으로 대체 모델로 전환합니다.
- 🔄 자동 재시도 (Automatic Retries): GPTRouter는 실패한 요청을 지능적으로 재시도하여 수동 작업의 노력을 줄이고 신뢰성을 향상시킵니다.
- ⏱️ 빠르고 반응성이 좋음 (Fast and Responsive): 지연 시간을 줄이도록 설계된 GPTRouter는 AI 모델과의 상호작용이 빠르고 효율적으로 이루어지도록 보장합니다.
지원 모델:
<img src="https://writesonic.s3.amazonaws.com/gpt-router/gpt-router.png" height="500px" width="800px" />
| 지원 모델 | Completion (완성) | Streaming (스트리밍) | Async Completion (비동기 완성) | Async Streaming (비동기 스트리밍) |
|---|
| OpenAI | :white_check_mark: | :white_check_mark: | :white_check_mark: | :white_check_mark: |
| ... | | | | |
| :heavy_exclamation_mark: 이미지 모델 (Image Models)에는 스트리밍 (Streaming)이 적용되지 않습니다. | | | | |
:clock930: 출시 예정
:sparkles: 기여자(Contributors)를 환영합니다! :sparkles:
Quick Start (빠른 시작)
시작할 준비가 되셨나요? 방법은 다음과 같습니다:
Prerequisites (사전 요구 사항)
서버 실행하기
- GPTRouter 서버를 로컬에서 실행하려면 여기의 단계를 따르세요.
- 또는, baseURL이
https://gpt-router-preview.writesonic.com/인 우리의 **Preview Deployment (미리보기 배포)**를 사용하세요. 여기에서 양식을 작성하여 API 키를 받으실 수 있습니다.
서버가 실행되면, 우리의 Python SDK를 사용하거나 API Docs (문서)를 통해 애플리케이션에 GPTRouter를 통합할 수 있습니다.
한편, 저희는 JS 및 기타 클라이언트를 작업 중이며 이를 도와줄 기여자(contributors)를 찾고 있습니다.
Using the Python SDK (Python SDK 사용하기)
pip를 사용하여 GPTRouter를 설치하세요:
또는 conda를 사용하세요:
conda install gptrouter -c conda-forge
Usage Example (사용 예시)
from gpt_router.client import GPTRouterClient
from gpt_router.models import ModelGenerationRequest, GenerationParams
from gpt_router.enums import ModelsEnum, ProvidersEnum
...
Discover More (더 알아보기):
스트리밍 (streaming) 및 기타 예시를 여기에서 확인하세요.
On the Horizon (향후 계획):
- Langchain 및 LlamaIndex와의 통합을 통해 선택지를 더욱 확장할 예정입니다.
📖 Documentation (문서)
포괄적인 문서를 보려면 다음을 방문하세요: GPTRouter Documentation (GPTRouter 문서)
🛠️ Installation and Setup (설치 및 설정)
상세한 설치 지침 및 설정 가이드는 시작하기 가이드 (Getting Started Guide)에서 확인할 수 있습니다.
🤝 Contributing (기여하기)
커뮤니티의 기여를 환영합니다! GPTRouter를 개선하는 데 관심이 있다면, 기여 가이드라인 (Contribution Guidelines)을 확인해 주세요.
🔗 Links (링크)
