토큰을 절약하기 위해 에이전트(Agent)를 로컬 모델로 전환하려 했고, Ollama를 설치한 후 임의로 하나의 모델을 가져와 실행해 봤는데, 속도가 매우 느리고 메모리까지 폭발했습니다.

Magnitude라는 이 오픈 소스 추론 서버(inference server)는 다른 접근 방식을 취합니다. 먼저 장치 전체 검사를 통해 칩, 메모리, 대역폭 등을 스캔한 후, 어떤 모델을 설치할 수 있고 대략 얼마나 빠르게 실행될지 추천해 줍니다.

모델이 선택되면, 다운로드, 매개변수 조정(tuning parameters), 그리고 백그라운드에서 지속적으로 실행하는 것까지 담당합니다. 모델은 필요할 때만 로드되고, 유휴 상태이거나 메모리가 부족하면 자동으로 언로드되므로 사용자가 직접 관리할 필요가 없습니다.

GitHub:
http://github.com/magnitudedev/magnitude
…
통합(Integration)은 매우 간단합니다. 현재 에이전트에게 문장 하나만 던져주면, 도구를 설치하고 모델을 선택하며 로컬 모델을 사용하도록 설정을 조정해 줍니다.

Claude Code, Codex, OpenCode, Cline 등 8가지 도구와의 통합을 지원하며, 이 장치에 맞춰 추론 가속(inference acceleration) 및 동시성 매개변수(concurrency parameters)가 미리 조정되어 있습니다.

모델, 프롬프트, 파일은 모두 로컬 장치에 보관됩니다. 한 번 다운로드하면 오프라인에서도 작동합니다. 토큰 소모를 싫어하고 메모리가 충분한 Mac 사용자에게는 시도해 볼 가치가 있습니다.