FreeLLMAPI: 월 약 13억 토큰 규모의 12개 무료 LLM 제공업체 티어를 단일 OpenAI 호환 엔드포인트로 통합

요약

FreeLLMAPI는 12개의 무료 LLM 제공업체를 단일 OpenAI 호환 엔드포인트로 통합하는 서비스입니다. 스트리밍, 도구 호출, 자동 장애 조치를 지원하며 base_url 변경만으로 기존 SDK와 연동할 수 있습니다.

핵심 포인트

• 12개 무료 LLM 제공업체를 단일 엔드포인트로 통합
• OpenAI SDK와 완벽한 호환성 제공
• 자동 장애 조치 및 토큰 예산 추적 기능 지원
• Google, Groq, Mistral 등 다양한 모델 지원