에이전트가 수백 개 대신 3개의 도구만 로드하도록 하는 로컬 우선 MCP 게이트웨이를 구축했습니다 (오픈 소스)

이 게시물은 엄밀히 말하면 로컬 모델에 관한 글이 아니므로, 관리자분들께서는 자유롭게 삭제하셔도 좋습니다. 하지만 로컬 우선(local-first) 방식이며 LM Studio, Cline, Roo와 잘 호환되기에 이곳에서 유용할 것이라 생각했습니다.

저는 몇 가지 다른 AI 도구들을 사용하는데, 각 도구마다 자체적인 MCP 설정이 필요했습니다. 그래서 똑같은 서버들을 계속해서 반복해서 설정해야 했고, 결과적으로 제 API 키들이 네 개의 서로 다른 JSON 파일에 평문(plaintext)으로 흩어져 있게 되었습니다. 이 점이 너무 짜증 나서 무언가를 직접 만들게 되었습니다.

이름은 Conduit입니다. 모든 MCP 서버를 한곳에 모아두는 데스크톱 앱이며, 각 도구는 자체 복사본을 유지하는 대신 Conduit을 가리키기만 하면 됩니다. 서버를 한 번만 설정하면 어디서든 사용할 수 있습니다. 키는 설정 파일이 아닌 OS 키체인(keychain)에 저장됩니다. 클라우드도, 계정도 없으며, 외부로 데이터를 전송(phones home)하지도 않습니다. MIT 라이선스입니다.

이 커뮤니티 분들이 가장 관심을 가질 만한 부분은 이겁니다: 대부분의 클라이언트(client)는 모든 서버의 전체 도구 스키마(tool schema)를 모델의 컨텍스트(context)에 쏟아붓습니다. 서버를 몇 개만 연결해도 단어를 입력하기도 전에 수천 개의 토큰을 소모하게 되며, 컨텍스트 창(context window)이 좁은 로컬 모델은 이를 매우 크게 체감합니다. Conduit은 오직 3개의 메타 도구(meta-tools)만 노출하고 모델이 필요할 때마다 검색할 수 있도록 하여, 연결된 서버가 2개든 20개든 컨텍스트를 일정하게 유지합니다.

제 자체 테스트 결과 한 가지 말씀드리자면: 온디맨드 검색(search-on-demand) 흐름은 모델에 조금 더 많은 것을 요구합니다. 4B (Gemma) 모델은 다단계 작업에서 헤맸지만, 성능이 뒷받침되는 모델은 모두 잘 처리했습니다. gemma-4-12b-qat는 아주 잘 작동합니다. 여러분이 실행 중인 모델에서는 어떻게 작동할지 진심으로 궁금합니다.

저장소(repo): https://github.com/tsouth89/conduit

저는 주로 여러분이 어떤 도구/서버가 지원되기를 원하는지, 그리고 컨텍스트 접근 방식이 여러분의 로컬 환경에서 실제로 도움이 되는지 알고 싶습니다 (도움이 되어야 합니다!).

아래는 30초짜리 데모로, LM Studio를 연결하여 로컬 모델로 몇 개의 서버에서 도구를 가져오는 모습입니다.
https://reddit.com/link/1uc52eh/video/6u8ef1ha4q8h1/player

제출자: /u/kydude
[link] [comments]