M2 MacBook Pro에서 6개의 로컬 모델 속도 벤치마크 수행

요약

M2 MacBook Pro(96GB 통합 메모리) 환경에서 Ollama를 통해 6개 로컬 모델의 추론 속도를 벤치마크한 결과입니다. Qwen2.5 3B 모델이 예상과 달리 Llama 3.2를 포함한 동급 모델들보다 빠른 성능을 보여주었습니다.

핵심 포인트

• M2 MacBook Pro 96GB 환경에서 4-bit 양자화 모델 테스트
• Qwen2.5 3B 모델이 동급 체급 모델 중 가장 빠른 속도 기록
• Qwen, Llama 3.2, Phi3는 실시간 채팅 및 라이브 완성에 적합
• Mistral 및 Llama 3.1은 비동기 작업에 권장
• Qwen 14b 모델은 체급 특성상 지연(lag)이 발생함