제가 시도해 본 모든 AI 라우터는 단 한 가지, **비용 (cost)*에만 최적화되어 있었습니다. 그 어떤 것도 제가 실제로 궁금해하는 질문에는 답하지 못했습니다: "이 답변이 정확하다는 것을 얼마나 확신할 수 있는가, 그리고 만약 틀린다면 무엇이 망가지는가?"

그래서 저는 제가 **신뢰 제어 평면 (Trust Control Plane)**이라 부르는 로컬 우선 (local-first) CLI인 Hydra를 구축했습니다. 단순히 가격에 따라 라우팅하는 대신, 사용자의 자체 하드웨어에서 _교정된 신뢰도 (calibrated confidence)_를 기반으로 라우팅합니다.

작동 방식

hydra probe를 실행하면 CLI 에이전트, API 키, 로컬 서버 등 사용자의 머신에 있는 모든 모델을 찾아냅니다. 그런 다음 hydra dispatch가 작업을 분류하고, 사용자의 기준을 통과하는 가장 저렴한 헤드 (head)를 향해 비용 사다리 (cost ladder)를 따라 라우팅합니다.

라우터는 세 가지 메커니즘에 의해 구동됩니다:

• 비용/품질 파레토 라우팅 (Cost/quality Pareto routing). 개별 모델은 비용/품질 그래프 상의 점입니다. 이 라우팅 곡선은 모든 것에 하나의 모델을 사용하는 대신, 작업별로 (per task) 최적의 헤드를 선택함으로써 더 낮은 비용에서 동일하거나 더 나은 품질에 도달합니다.
• 최적 정지 (Optimal stopping, SPRT). 순차 확률비 검정 (Sequential Probability Ratio Test)이 사용자의 목표 신뢰도(예: 0.95)를 통과할 때까지 헤드들을 조사하며, 통과하면 조기에 중단하고 남은 헤드들의 비용을 절약합니다.
• 폭발 반경 인식 (Blast-radius awareness). 코드 의존성 그래프를 읽고 침투 카파 (percolation kappa, k = <k^2> / <k>, Molloy-Reed criterion)를 사용하여 전이적 의존성 (transitive dependents)이 많은 허브 파일에 대해 신뢰도 기준을 높입니다. 널리 임포트되는 파일에 대한 변경은 어떤 헤드가 해당 파일에 접근하기 전에 더 높은 확실성을 요구합니다.

라우팅은 기기 내에서 ~0ms의 오버헤드로 실행되며, 결정을 내리기 위한 네트워크 호출이 전혀 없습니다. 로컬 Qwen이 사다리의 맨 아래에서 항상 켜져 있는 폴백 (fallback) 역할을 하므로, 디스패치가 속도 제한 (rate limit)으로 인해 완전히 실패하는 일은 없습니다.

베팅

여러분의 지출, 코드, 그리고 정책은 여러분의 자체 하드웨어에 머물러야 하며, 라우팅은 단순히 가격이 아닌 **신뢰 (trust)**에 관한 것이어야 합니다.

이 프로젝트는 초기 단계이며 MIT 라이선스를 따릅니다. 저는 진심으로 다음 두 가지 사항에 대해 피드백을 받고 싶습니다: SPRT가 "이 답변이 충분히 좋은가"를 판단하기 위한 올바른 정지 규칙 (stopping rule)인지, 그리고 kappa가 영향 범위 (blast radius)를 나타내는 공정한 대리 지표 (proxy)인지에 대한 것입니다.

링크

• 리포지토리 (Repo): github.com/ankit373/hydra
• 문서 및 데모 (Docs and demo): hydra.uvansa.com