5090에서 Qwen3.8 27B를 구동한 결과: ninfer vs llama.cpp, 4가지 설정 비교 - 속도 및 품질 테스트

요약

본 기사는 RTX 5090 환경에서 Qwen3.8 27B 모델을 ninfer와 llama.cpp 두 가지 방식으로 구동하며 속도 및 품질을 비교 분석한 결과입니다. 테스트 결과, 단순히 'ninfer가 빠르다'기보다는 MTP(Multi-Turn Prompting) 활성화 여부가 성능에 결정적인 영향을 미쳤습니다. 또한, 추론 모델의 경우 토큰 수뿐 아니라 실제 결과 도출 시간을 고려해야 함을 강조합니다.

핵심 포인트

• MTP를 활성화하면 llama.cpp의 속도가 크게 향상되어 ninfer와 근접한 성능을 보입니다.
• 추론 시에는 단순히 t/s만 볼 것이 아니라 최종 결과 도출까지 걸리는 총시간이 중요합니다.
• 품질 테스트에서는 NVFP4 설정만이 승리 조건에 맞는 논리적 일관성을 보여주었습니다.