H100 에서 Qwen 3.6 27B, Qwen 3.6 35B A3B 및 Gemma 4 모델의 Throughput 과 TTFT 비교

요약

본 기사는 단일 H100 GPU 환경에서 다양한 크기와 구조의 LLM(Qwen 3.6, Gemma 4 등)을 vLLM으로 테스트하고 Throughput과 TTFT를 비교 분석한 결과를 담고 있습니다. 주요 발견 사항으로는 소형 전문 모델인 Gemma 4 E2B-it가 압도적인 성능을 보여주었으며, FP8 양자화는 특히 MoE 구조에서 큰 속도 향상을 가져와 단순 메모리 절약 이상의 가치를 입증했습니다. 또한, 대규모 Dense 모델(Gemma 31B)은 높은 동시성 환경에서 성능 저하가 심각하여, 실시간 서비스에는 SLM이나 MoE 기반의 경량화된 아키텍처를 사용하는 것이 필수적임을 강조합니다.

핵심 포인트

• 소형 전문 모델(SLM)인 Gemma 4 E2B-it는 대규모 Dense 모델 대비 압도적인 Throughput과 낮은 TTFT를 보여주어 실시간 채팅 서비스에 가장 적합하다.
• FP8 양자화는 특히 MoE 구조에서 메모리 절약 이상의 가치를 제공하며, H100 환경에서 속도를 크게 향상시킨다.
• 대규모 Dense 모델(예: Gemma 31B)은 높은 동시성 부하가 걸릴 경우 성능이 급격히 저하되므로, 실시간 서비스에는 MoE 또는 SLM을 사용해야 한다.
• 최적의 균형점은 FP8 양자화된 Qwen 3.6 35B-A3B로, 합리적인 지연 시간과 높은 처리량을 제공한다.