범용 AI 컨트롤 플레인(Universal AI Control Plane)을 구축한 방법

문제점

모든 AI 도구는 각자만의 설정(config)을 가지고 있습니다. 각자만의 메모리(memory)가 있고, 각자만의 작업 방식이 있습니다.

저는 코드 리뷰를 위해 Claude를, 문서화를 위해 GPT를, 리서치를 위해 Gemini를, 그리고 로컬 테스트를 위해 Ollama를 번역하며 전환해야 했습니다. 각각의 도구는 다음을 필요로 했습니다:

• 별도의 API 키
• 별도의 도구 설정 (tool configurations)
• 별도의 메모리 컨텍스트 (memory contexts)
• 별도의 워크플로우 (workflows)

그것은 엉망이었습니다. 도구를 전환할 때마다 컨텍스트(context)를 잃어버렸습니다. 도구 설정은 중복되었고, 제공자(provider) 간에 메모리를 일관되게 유지하는 것은 꿈도 꿀 수 없었습니다.

해결책

저는 단일 MCP (Model Context Protocol) 서버를 통해 이 모든 것들을 연결하는 범용 AI 컨트롤 플레인(Universal AI Control Plane)인 HyperNexus를 구축했습니다.

각 AI 클라이언트마다 별도의 메모리와 라우팅(routing)을 설정하는 대신, 하나의 통합된 서버를 실행합니다. 이 서버는 다음을 처리합니다:

1. 점진적 도구 라우팅 (Progressive Tool Routing) — 프롬프트(prompt)당 가장 관련성이 높은 상위 3개의 도구 스키마(tool schemas)만 주입하여 토큰 팽창(token bloat)을 방지합니다.
2. LLM 워터폴 (LLM Waterfall) — 속도 제한(rate limits)에 도달했을 때 제공자 간 자동 장애 조치(auto-failover)를 수행합니다.
3. 지속적 메모리 (Persistent Memory) — 재시작 후에도 유지되는 시맨틱 검색(semantic search)을 위해 SQLite + sqlite-vec를 사용합니다.

아키텍처 (Architecture)

 ┌─────────────────────────────────────────────┐
 │              HyperNexus Core                │
...

Go 백엔드는 동시 도구 실행을 위한 고루틴(goroutines)을 사용하여 446개의 HTTP 핸들러(handlers)를 처리합니다. TypeScript 프론트엔드는 모니터링 및 설정을 위한 대시보드를 제공합니다.

점진적 도구 라우팅 (Progressive Tool Routing)

MCP 서버의 가장 큰 문제는 토큰 팽창(token bloat)입니다. 50개의 도구 스키마를 모든 프롬프트에 쏟아부으면, 대화가 시작되기도 전에 컨텍스트 윈도우(context window)의 절반을 낭비하게 됩니다.

점진적 라우팅은 이 문제를 해결합니다:

   func (r *Router) GetTools(prompt string) []Tool {
       // 프롬프트에 대한 임베딩(embeddings)을 가져옵니다
       embeddings := r.GetEmbeddings(prompt)
...

plaintext

테스트 결과, 도구 선택 정확도를 95% 이상으로 유지하면서 토큰 사용량을 60% 절감했습니다.

LLM 워터폴 (LLM Waterfall)

속도 제한(rate limits)은 피할 수 없습니다. 워터폴 패턴은 이를 우아하게 처리합니다:

   기본 API (Claude)
       ↓ 속도 제한 (rate limited)
   OpenRouter (백업)
...

go

설정 제로(Zero config), 다운타임 제로(Zero downtime). 에이전트는 실패를 전혀 인지하지 못합니다.

지속성 메모리 (Persistent Memory)

대부분의 에이전트 프레임워크 (agent frameworks)는 재시작 시 모든 것을 잊어버립니다. 우리는 시맨틱 검색 (semantic search)을 위해 SQLite + sqlite-vec를 사용합니다:

   // 벡터 임베딩 (vector embedding)과 함께 메모리 저장
   func (m *Memory) Store(key string, value string) error {
       embedding := m.GetEmbedding(value)
...

14,726개의 메모리가 로컬에 저장됩니다. 클라우드 의존성이 전혀 없습니다.

모든 것과 호환 (Works With Everything)

HyperNexus는 다음 환경과 함께 작동합니다:

• Claude Desktop
• Cursor
• Codex
• Gemini CLI
• Windsurf
• Copilot

하나의 설정으로 6개의 환경을 지원합니다. 바이트 단위로 동일한 도구 시그니처 (tool signatures)를 제공합니다.

직접 체험해 보세요

오픈 소스 (TormentNexus)

• GitHub: https://github.com/HyperNexusLLC/hypernexus
• 셀프 호스팅 (Self-host), 완전한 제어, MIT 라이선스

엔터프라이즈 (HyperNexus)

• 웹사이트: https://hypernexus.site
• 관리형 호스팅 (Managed hosting), SSO, RBAC, 감사 추적 (audit trails)

다음 단계 (What's Next)

현재 다음 사항들을 작업 중입니다:

• 엔터프라이즈 SSO/RBAC
• 더 많은 MCP 서버 통합
• 성능 개선
• 더 나은 문서화

여러분의 생각은 어떠신가요?

현재 AI 툴링 (AI tooling)에서 겪고 있는 가장 큰 어려움은 무엇인가요? 다음과 같은 것인가요:

• 도구 설정 (Tool configuration)?
• 메모리 지속성 (Memory persistence)?
• 제공자 관리 (Provider management)?
• 혹은 다른 것?

댓글로 알려주세요 — 여러분이 이 문제들을 어떻게 해결하고 있는지 정말 듣고 싶습니다.

────────────────────────────────────────────────────────────────────────────────

이 내용이 유용했다면, GitHub 리포지토리에 스타(star)를 눌러주세요: https://github.com/HyperNexusLLC/hypernexus