로컬에서 AI를 구동하는 것은 여전히 부족한 느낌이다.

하나의 장비만으로는 충분하지 않다. 클라우드 GPU는 비싸고, 사용하지 않는 기기들은 그저 가만히 놓여 있다.

그래서…

⚠️ 모든 사용되지 않는 컴퓨팅 자원을 하나의 거대한 AI 컴퓨터로 통합하기로 결정했다.

Mesh LLM을 만나보세요.

여러 장비에 걸쳐 GPU와 메모리를 풀링(pooling)하고, 이 모든 것을 단일한 OpenAI 호환 API를 통해 노출하는 오픈 소스 프로젝트입니다.

하나의 노드부터 시작할 수 있습니다.

나중에 더 많은 장비를 추가할 수 있습니다.

모델을 로컬에서 구동하거나, 요청을 여러 장비에 분산시키거나, 심지어 단일 장비로는 너무 큰 모델을 분할하여 실행할 수도 있습니다.

눈에 띄는 몇 가지 특징:

• OpenAI 호환 API (localhost:9337/v1)
• Mixture-of-Agents 지원 (model: "mesh")
• 여러 장비에 걸친 분산 추론(Distributed inference)
• Qwen, Llama, Gemma, DeepSeek, GLM, MiniMax, Phi 등 89개 인증된 모델 패밀리 지원
• Claude Code, Goose, OpenCode, Pi와 연동 가능
• 이미 125개 이상의 버전이 배포됨

그리고 Apache-2.0 라이선스 하에 완전히 오픈 소스입니다.

여기서 더 큰 아이디어는 단순히 분산 추론 그 자체가 아닙니다.

여러분의 노트북, 데스크톱, 홈 서버, 여분의 GPU가 하나의 공유 AI 클러스터로 점차 변모하는 세상으로 나아가고 있다는 것입니다.

컴퓨팅 자원이 네트워크가 되고 있습니다.

그리고 Mesh LLM과 같은 프로젝트들이 우리가 생각하는 것보다 훨씬 더 가까운 미래를 현실로 만들고 있습니다.

GitHub에서 2.3k+ 스타를 기록하며 성장하고 있습니다.

주목할 만한 가치가 충분합니다.