이 오픈 소스 프록시는 코드를 한 줄도 수정하지 않고 여러분의 AI 에이전트 비용을 절감해 줍니다.

모든 프롬프트를 동일한 고비용 LLM으로 보내는 대신, 각 요청을 작업에 가장 적합한 모델로 자동 라우팅합니다.

또한 다음 기능들을 수행합니다:
→ 모든 요청 전에 가드레일(guardrails) 적용
→ 비용과 품질 최적화
→ 모델 친화성(model affinity)으로 프롬프트 캐시 유지
→ 모든 API 지출이 어디에 사용되는지 정확히 보여줍니다.

가장 좋은 점은요?

여러분의 에이전트는 이 존재 자체를 알지 못한다는 것입니다.

YAML 설정 파일 하나만으로 충분합니다.
OpenAI, Anthropic, Gemini, Mistral 등 다양한 모델을 지원합니다.

이것이야말로 모든 AI 팀이 결국 사용하게 될 인프라 계층입니다.