모델당 동일한 200 토큰 완성(completion) 작업을 20회 실행하여 결과를 평균냈습니다. 설정: M2 MacBook Pro, 96GB 통합 메모리(unified memory), Ollama, 전 모델 4-bit 양자화(quantization) 적용.

가장 놀라웠던 점은 Qwen2.5 3B가 동일한 크기 체급의 Llama 3.2를 포함한 다른 모든 모델을 근소하게 앞섰다는 것입니다. Llama에 투입된 최적화 작업을 고려했을 때 속도 면에서 Llama가 승리할 것이라 예상했습니다. Qwen(3b)은 벤치마크뿐만 아니라 일상적인 사용에서도 눈에 띄게 더 빠릿하게 느껴집니다(다만 이는 개인적인 의견입니다).

Qwen, Llama 3.2, Phi3는 대부분의 실시간 사용(채팅, 라이브 완성)에 충분히 빠릅니다. 노란색(Mistral 및 Llama 3.1)은 기다릴 필요가 없는 비동기(async) 작업에 적합하며, 빨간색(Qwen 14b)은 지연(lag)이 느껴지기 시작하는 단계입니다. 하지만 14b 모델인데 무엇을 기대하겠습니까?
submitted by /u/UsedMorning9886
[link] [comments]