16개 이상의 LLM 제공업체 무료 할당량을 단일 OpenAI 호환 인터페이스로 통합, 지능형 라우팅 및 학습 능력 포함

요약

16개 이상의 LLM 무료 할당량을 하나의 OpenAI 호환 인터페이스로 통합하는 TypeScript 기반 풀스택 프로젝트입니다. 지능형 라우팅, 동적 다운그레이드, 벤치마크 통합 점수 산정 등 고도화된 기능을 제공합니다.

핵심 포인트

• 16개 이상의 LLM 무료 할당량을 단일 인터페이스로 통합
• Auto Multi-armed Bandit을 포함한 9가지 맞춤형 라우팅 전략 제공
• 동적 다운그레이드 및 추론 토큰 공정 계측 기능 지원
• End-to-end Chain of Thought 전달 기능 포함