작고 큰 모든 Qwen 모델을 위한 Strata 성능 비교

요약

본문은 RustingStrata와 llama.cpp를 사용하여 다양한 Qwen 모델의 추론 성능을 비교한 벤치마크 결과입니다. 작은 모델에서는 llama.cpp가 프리필 속도가 빠르지만, VRAM 용량을 초과하는 대형 모델(35B 이상)에서는 Strata가 프리필 및 디코드 단계에서 상당한 성능 향상을 보여줍니다.

핵심 포인트

• 작은 모델 추론 시에는 llama.cpp의 프리필 속도가 더 빠름.
• 대형 모델(>35B) 환경에서는 Strata가 프리필 1.5배, 디코드 최대 2배 성능 향상 기록.
• MTP 활성화 시 35B 모델의 디코드 속도를 약 160 tok/s까지 높일 수 있음.
• 테스트는 RTX 3060 환경에서 진행되었으며, 모든 수치는 토큰/초(tok/s)임.