다음 달 맥스튜디오 오면 로컬 AI 실행 프로그램으로 Ollama를 깔기로 정해 뒀는데, 로컬 AI를 최대 3배 빠르게 돌린다는 Locals가 나와서 저장소까지 열어봤음.
어떤 때 이득인지는 알겠는데, 내 계획엔 지금은 안 맞아 보임. 걸린 건 속도가 아니라 "한 번에 모델 하나만 돌린다"는 한 줄이었음.
저장소 숫자 (M2 Pro 16GB, 작은 모델 Qwen3.5-4B, 비교 대상은 맥용 실행 도구 mlx-lm, 초당 토큰=글자 조각)
‣ 요청 8개 동시: 87 → 271
‣ 에이전트 혼자 100줄 파일 고쳐 쓰기: 43 → 128
‣ 재시작 후 첫 요청: 16초 → 1.7초
‣ 재사용할 게 없는 새 질문 하나: 61 → 64, 거의 같음
그러니까 이득은 두 군데임.
‣ 여러 요청을 한꺼번에 넣을 때
‣ 이미 읽은 글이나 지시문을 다시 쓸 때
그래서 제일 맞는 사람은 M2 같은 맥에 모델 하나 띄워 놓고, 코딩 AI 여러 개를 동시에 돌리는 개발자로 보임.
원글 영상 제목부터 “Eight coding agents. One Mac.”(코딩 에이전트 8개, 맥 한 대)임.
내 계획은 모델 3개(기사 요약용, 걸러내기용, 메인)를 같이 띄워 두는 거라, 모델 하나 제한에 바로 걸림.
알아서 여러 단계를 처리하는 AI(에이전트)도 하나라 요청 8개가 동시에 몰릴 일은 드묾.
에이전트 혼자 쓸 때 빨라지는 건 끌리는데, 그 숫자는 mlx-lm 대비임. 혼자 쓸 때 Ollama랑은 얼마나 차이 나는지 따로 재 봐야 앎.
작성자 설명으로도 M5 칩에선 1.5배 정도라서(M5 전용 개선은 아직 실험 중이라고 함), 내가 받을 M5 Max에선 3배보다 작을 가능성이 커 보임.
Introducing Locals: an Apple Silicon engine that runs local LLMs up to 3x faster.
It is built with a single mission: to free you from cloud providers and run frontier-class models locally without needing massive compute resources.
It’s simple. Run our engine, and your coding harnesses and autonom