우리가 모델을 인프라로 취급하고, 지도 앱이 도로를 선택하듯 각 요청을 라우팅하는 방법을 단일 Node.js 앱에서 구현하는 방법.

“그냥 GPT-4를 사용하세요”의 문제점

대부분의 AI 기능은 하나의 모델을 하드코딩하여 사용합니다. 이는 데모 단계에서는 작동하지만, 개인정보 보호, 비용, 지연 시간(Latency) 또는 서비스 중단(Outage) 문제가 발생하면 더 나은 전략이 필요해집니다.

내비게이션 앱은 항상 가장 짧은 도로만 선택하지 않습니다. 교통량, 도로 폐쇄, 통행료 등을 고려합니다. Compass는 동일한 아이디어를 LLM 추론(Inference)에 적용합니다:

어떤 AI 모델이 최고인지 묻지 마세요.

이 요청에 어떤 모델이 최적인지를 물으세요.

우리가 구축한 것

Compass는 다음과 같은 기능을 갖춘 **추론 제어 평면 (Inference Control Plane)**입니다:

• Ollama, LM Studio, OpenAI-compatible API 및 OpenRouter로부터 모델 탐색
• **정책 결정 엔진 (Policy Decision Engine)**을 통해 각 프롬프트 라우팅
• **SSE (Server-Sent Events)**를 통한 토큰 스트리밍 (결정 → 단계 → 토큰 → 메트릭)
• 제공업체(Provider) 오류 발생 시 페일오버 (Fail over)
• 모델 비교, 규칙 편집, 분석 데이터 검사

단일 프로세스: Next.js가 UI와 게이트웨이 API를 제공합니다. LangChain.js (ChatOpenAI)가 모든 OpenAI-compatible 백엔드와 통신합니다. Python 사이드카(Sidecar)는 필요 없습니다.

스택 (Stack)

CrewAI는 Python 기반의 멀티 에이전트 오케스트레이션(Multi-agent orchestration) 도구이며, 라우터로 쓰기에는 잘못된 계층입니다. LangChain.js는 멀티 백엔드 채팅을 위한 적절한 Node 클라이언트입니다.

아키텍처 (Architecture)

┌─────────────────────────────────────────────────────┐
│              Next.js (localhost:3000)               │
│   Browser  →  /api/*  →  discovery / policy / llm   │
...

파이프라인 (Pipeline)

POST /api/chat/stream
  → PolicyEngine.decide(prompt)
  → SSE: decision + policy steps
...

실행 방법

npm install
npm run dev
# → http://localhost:3000

Ollama 또는 LM Studio가 실행 중이면 모델이 자동으로 나타납니다. .env 파일에 선택적 키를 설정할 수 있습니다 (.env.example 참조).

코드 맵 (Code map)

src/server/
  discovery.ts      # 로컬 탐색 + 클라우드 카탈로그 구축
  policy-engine.ts  # IF/THEN + 기능 기반 라우팅
...

LangChain 클라이언트 (스케치)

import { ChatOpenAI } from "@langchain/openai";
import { HumanMessage } from "@langchain/core/messages";

...

정책 액션 (Policy actions)

• local — 선호하는 Ollama/LM Studio 모델
• capability:fast | code | creative | long_context (기능: 빠름 | 코드 | 창의적 | 긴 컨텍스트)
• cheapest | fastest | 특정 모델 ID (가장 저렴함 | 가장 빠름 | 특정 모델 ID)

모델은 인프라입니다. Compass는 노트북에서도 실행할 수 있는, 요청 범위(request-scoped) 라우팅을 위한 읽기 쉬운 참조 도구입니다.

코드 및 상세 정보: https://www.dailybuild.xyz/project/208-compass