waybarrios/vllm-mlx

요약

waybarrios/vllm-mlx는 Apple Silicon 환경에 최적화된 고성능 LLM 추론 서버입니다. MLX 네이티브 지원, 연속 배치 처리(continuous batching), 멀티모달 모델 및 Anthropic 호환 기능을 제공하여 로컬에서 다양한 LLM을 효율적으로 구동할 수 있게 합니다.

핵심 포인트

• Apple Silicon에 최적화된 고성능 추론 서버입니다.
• MLX 네이티브 지원과 연속 배치 처리를 구현했습니다.
• OpenAI 및 Anthropic 호환성을 제공합니다.
• 멀티모달, MCP 도구 호출, Claude Code 기능을 포함합니다.