Show HN: Arch-Router – 벤치마크가 아닌 선호도에 기반한 LLM 라우팅용 1.5B 모델

요약

Arch-Router는 벤치마크나 단순 의도 분류 대신 사용자의 평문 선호도 규칙을 기반으로 LLM을 선택하는 1.5B 규모의 경량 라우터 모델입니다. Rust 기반의 오픈 소스 프록시 Arch와 통합되어 작동하며, 재학습 없이도 복잡한 대화 문맥과 비용/지연 시간 효율성을 고려한 모델 라우팅을 지원합니다.

핵심 포인트

• 기존 임베딩 기반 분류기나 벤치마크 기반 라우팅의 한계를 극복하기 위해 평문 선호도 규칙 방식을 채택함
• 1.5B 파라미터의 경량 모델로 단일 GPU 또는 CPU에서도 실행 가능하며 높은 효율성을 제공함
• 의도 드리프트(intent drift)와 멀티턴 대화 문맥을 처리할 수 있어 실제 운영 환경에 적합함
• 재학습 없이도 사용자가 정의한 규칙에 따라 다양한 LLM 조합을 유연하게 교체 가능함