Weave Router - 프롬프트마다 최적의 모델로 라우팅하는 에이전트용 모델 라우터
요약
Weave Router는 Anthropic, OpenAI, Gemini 등 여러 LLM 제공업체를 단일 엔드포인트로 통합하는 드롭인 프록시입니다. 요청마다 최적의 모델을 자동으로 선택하여 라우팅하며, 이를 통해 비용 절감과 안정적인 관리가 가능합니다. on-box embedder 기반 클러스터 스코어링으로 정확한 라우팅이 특징입니다.
핵심 포인트
- 단일 엔드포인트로 다수 LLM 통합 및 관리
- 요청별 최적 모델 자동 선택 및 라우팅 (50ms 이내)
- 비용 절감 효과 (40-70%)와 안정적인 운영 지원
- Anthropic, OpenAI, Gemini 등 주요 API 네이티브 지원
- Anthropic, OpenAI, Gemini를
단일 엔드포인트로 묶는 드롭인 프록시. 요청마다 최적 모델을 자동 선택 - 모든 프롬프트를
50ms 이내에 올바른 모델로 라우팅하며, 엔드포인트 변경만으로 비용 40-70% 절감 가능 - 프롬프트를 감(vibes)이 아닌
on-box embedder 기반 클러스터 스코어러로 판단, Avengers-Pro에서 파생된 방식으로 매 턴 라우팅 결정
Anthropic Messages, OpenAI Chat Completions, Gemini native API를 모두 wldnjs하며 스트리밍/툴/비젼 지원
DeepSeek, Kimi, GLM, Qwen, Llama, Mistral 등 OSS 모델은 OpenRouter(또는 OpenAI 호환 엔드포인트) 경유해서 사용 가능
BYOK 기본이며 공급자 키는 로컬에 암호화하여 저장
OTLP 트레이스 기본 제공, Weave 대시보드/Honeycomb/Datadog/Grafana 등으로 Observability 확보 - 설치없이
npx @workweave/router
로 실행후 Claude Code, Codex, opencode, Cursor에 바로 연결 가능하며 on/off/status 전환 지원
- Claude Code는
make install-cc
로 연결. /router-off
, /router-on
, /router-status
슬래시 명령 제공
- Codex:
npx @workweave/router --codex
를 실행하면 ~/.codex/config.toml
을 패치함
- opencode:
npx @workweave/router --opencode
하면 번들된 @ai-sdk/anthropic
공급자를 라우터 /v1
엔드포인트로 지정, Anthropic Messages API 네이티브 지원으로 수정 없이 동작함
- Cursor: 아직 초기 베타로 성능은 불안정, Settings → Models → Override OpenAI Base URL에
http://localhost:8080/v1
입력
- Elastic License 2.0
댓글과 토론
AI 자동 생성 콘텐츠
본 콘텐츠는 GeekNews의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기