Show HN: Millwright – Rust 기반, 자체 호스팅 LLM 라우터

요약

Millwright는 Rust 기반으로 작성된 자체 호스팅 LLM 라우터입니다. 이 도구는 사용자의 AI 애플리케이션과 여러 모델 제공자(OpenAI, Anthropic 등) 사이에 위치하여 요청을 관리합니다. 이를 통해 비용 효율적인 경로를 선택하고 프롬프트 캐시 재사용성을 유지하며, 단일 엔드포인트로 다양한 LLM 제공자를 연결할 수 있게 합니다.

핵심 포인트

• 단일 Rust 바이너리로 자체 호스팅 가능하여 보안 및 제어 용이
• 비용 최적화를 위해 'cheap', 'mid', 'frontier' 모델 역할을 정의하고 경로 선택
• 프롬프트 캐시 재사용성을 유지하여 LLM 비용 증가를 방지
• 애플리케이션 코드 변경 없이 여러 LLM 제공자를 통합 라우팅 가능