맥북 로컬 LLM, Ollama보다 토큰 2.7배 빨리 뽑는 오픈소스 엔진 나옴. 이름은 Magnitude

요약

오픈소스 엔진 Magnitude가 로컬 LLM 추론 속도를 Ollama 대비 최대 2.7배까지 향상시키는 기술을 공개했습니다. 이 엔진은 모델에 최적화된 커널 설정을 적용하고 추측 디코딩(speculative decoding) 드래프터를 붙여 성능을 극대화합니다. Mac 외에도 NVIDIA, AMD 등 다양한 하드웨어에서 작동하며 에이전트 통합도 용이합니다.

핵심 포인트

• Magnitude는 로컬 LLM 추론 속도를 Ollama 대비 최대 2.7배 향상시킵니다.
• 최적의 성능을 위해 커널 설정을 직접 선택하는 방식이 핵심입니다.
• MacBook 외에도 NVIDIA, AMD 등 다양한 하드웨어 플랫폼을 지원합니다.
• Codex 같은 에이전트 도구에 원클릭으로 통합하여 사용 가능합니다.