저는 하나의 API에 종속되지 않고 Ollama 및 기타 프로바이더(providers)를 Grok Build와 함께 사용하고 싶었습니다. 그래서 자동 폴백(auto-fallback) 기능을 갖추고 5개 이상의 프로바이더로 요청을 라우팅하는 로컬 프록시인 GrokRoute를 구축했습니다.

작동 방식

Grok Build → GrokRoute (:8083) → Agnes / Groq / Zhipu / Laguna / Ollama

이 프록시는 SSE 스트리밍(streaming)을 지원하는 OpenAI /chat/completions 엔드포인트(endpoint)를 구현한 단일 Python 파일입니다. 요청이 들어오면 다음과 같이 동작합니다:

1. 프록시가 프로바이더 설정을 읽습니다.
2. 우선순위 순서대로 프로바이더를 시도합니다.
3. 하나가 실패하면 (속도 제한(rate limit), 타임아웃(timeout)) — 5초 이내에 다음 프로바이더가 이어받습니다.
4. 응답을 Grok Build로 스트리밍합니다.

비스트리밍(Non-streaming) 모드는 훨씬 더 빠릅니다. 모든 프로바이더에 병렬(parallel)로 요청을 보내며, 가장 먼저 도착한 유효한 응답이 채택됩니다.

빠른 시작

npm install -g grokroute
grokroute install
grokroute

그 다음 SPACE 키를 누르면, 멀티 프로바이더 지원 기능과 함께 Grok Build가 실행됩니다.

주요 기능

• 5개 이상의 프로바이더: Ollama, Groq, Agnes, Zhipu, Laguna
• 자동 폴백 (Auto-fallback): 프로바이더당 5초 타임아웃을 가진 순차적 방식
• 레이스 모드 (Race mode): 병렬 요청, 가장 빠른 응답이 승리
• 웹 관리 UI (Web admin UI): 다크 테마, :8083/admin
• 로컬 전용 (Local-only): 127.0.0.1에서 실행, 텔레메트리(telemetry) 없음
• MIT 라이선스 (MIT license)

이것을 만든 이유

코딩 작업을 위해 다양한 모델들을 벤치마킹(benchmarking)하고 있었는데, 수동으로 설정을 변경하는 것에 지쳤습니다. 자동 폴백 기능이 핵심 기능(killer feature)이 되었습니다. 프로바이더가 속도 제한(rate-limit)에 걸리더라도 그냥 작동하기 때문입니다.

출처: github.com/wxstdo-boop/grokroute

질문은 언제든 환영합니다!