저는 모델 지원을 기다리는 것에 지쳐서 몇 달 동안 Zig 언어로 자체 LLM 서버를 작성했습니다. 이제 이것이 가장 빠릅니다. 새로운 모델들이 출시될 때마다, 제 Mac에서는 제대로 작동하는 곳에서 실행할 수 없었고, 지원되는 것도 느렸으며, 설령 되더라도 제가 중요하게 생각했던 기능(도구 호출(tool calling), 비전(vision), 정상적인 컨텍스트 처리)의 절반이 고장 나 있었습니다. 저는 조급해져서 '얼마나 어려울까'라고 생각했지만 (사실은 매우 어렵습니다). 몇 달 후, 저는 네이티브 Zig 추론 서버를 갖게 되었고, Python도 없고 Electron도 없습니다. 대부분의 MLX 및 GGUF 모델을 실행하며, OpenAI/Anthropic/Ollama API를 지원하고, Gemma 4와 Qwen 3.6 전반에 걸쳐 LM Studio보다 지수평균(geomean)으로 +48% 더 빠릅니다 (벤치마크는 레포지토리에 있으며 하나의 스크립트로 재현 가능합니다). 또한 모델 계열 전반에 걸쳐 도구 호출을 제대로 수행합니다 (Hermes XML, Gemma의 특이한 <|tool_call> 형식, 원시 JSON 등. 서버가 모델이 잘못 받은 것을 자동으로 감지하고 수정해줍니다). 왜냐하면 이것이 또 다른 고장 나는 부분이었습니다... API 계층에서 (멍청한) 모델들을 위한 자동 교정(Auto-correct)을 상상해보세요, 하네스(harness)가 아니라요. 어느 순간 이 서버는 전체 로컬 미디어 스택으로 확장되었습니다 — 이미지/비디오/음악/보이스 클로닝/3D 생성까지 모두 네이티브 MLX입니다. 왜냐하면 이것들을 위해 다섯 가지 다른 도구들을 오가며 사용하다 지쳤고, 계속 '단지 하나만 더'를 원했기 때문에 MLX가 이를 네이티브하게 연결할 수 있게 만들었습니다. 터미널을 통해 실행하거나, 네이티브 Swift UI 앱이 포함된 DMG 파일을 다운로드할 수 있습니다. - 제 개발 라이선스로 서명되었으며 이상한 권한 문제는 없습니다. 오픈 소스이며 텔레메트리(telemetry)가 없고, 단일 약 7MB의 바이너리입니다. 진심으로 그저 Gemma 4를 작동시키고 싶었던 한 사람의 결과물입니다. 질문이나 피드백에 기꺼이 답변하겠습니다! 레포 링크: https://github.com/ddalcu/mlx-serve 알려진 문제 / 작업 중인 내용: * TurboQuant가 서버를 충돌시킬 수 있습니다. 수정 방안은 있지만 아직 푸시하지 않았고, 더 많은 테스트를 진행하고 있습니다. * M4에서 가장 빠르지만, M5는 아직 테스트하지 못했습니다. 가지고 있지 않기 때문이기도 하고, 살 여유도 없습니다 :).. 하지만 누군가 도와서 테스트해주고 Fable 시간이 있다면 커널 속도 향상을 위한 계획을 작성해 두었습니다.

(도움이 필요하면 메시지 주세요) * Tool 자동 수정 기능은 일부 모델이나 하네스에서 혼란을 줄 수 있습니다. 이 기능을 비활성화할 수 있으며, 제 테스트에서는 더 빠르고 충분히 작동합니다. 로컬 저장소에 작은 수정 사항이 하나 있습니다. * HY3 295B 모델 지원을 추가했습니다. 128GB 메모리에서 2비트 양자화(quant)를 사용하여 작동하게 했으며, 상당히 잘 작동하지만 추가적인 테스트가 필요합니다. 제출자: /u/FootballSuperb664 [링크] [댓글]}**