MacBook Pro M5 Max에서 Nanbeige4.3-33B Q4 성능 비교: mlx-lm vs llama.cpp vs Kapitsa

요약

본 기사는 MacBook Pro M5 Max 환경에서 Nanbeige4.3-33B 모델의 추론 성능을 mlx-lm, llama.cpp, Kapitsa 세 가지 Apple Silicon 엔진으로 비교 분석한 기술 보고서입니다. 512부터 32K 토큰까지 다양한 컨텍스트 길이에서 Prefill 속도, Decode 속도, Time to first token 등 상세한 수치를 제시합니다. 이를 통해 각 추론 엔진의 효율성과 성능 차이를 검증하고 있습니다.

핵심 포인트

• MacBook Pro M5 Max 환경에서 Nanbeige4.3-33B 모델을 대상으로 3가지 엔진 비교가 진행됨.
• Prefill, Decode 속도 등 다양한 컨텍스트 길이별 수치 데이터가 제공되어 성능 분석이 가능함.
• 전반적으로 해당 모델은 느리고 비효율적이며, 완전한 어텐션 사용에 대한 의문이 제기됨.
• mlx-lm, llama.cpp, Kapitsa는 각각 다른 방식으로 LLM 추론을 최적화하는 엔진임.