단일 NVIDIA B200 GPU에서 Gemma-4-31B BF16의 디코딩 처리량 실험 결과

요약

NVIDIA B200 GPU 환경에서 Gemma-4-31B 모델의 디코딩 처리량 실험 결과를 공유합니다. 단일 요청 시 약 186 tokens/s의 성능을 확인했으며, vLLM 기반의 백엔드 최적화 작업을 진행 중입니다.

핵심 포인트

• NVIDIA B200 GPU에서 Gemma-4-31B BF16 모델 테스트
• 단일 활성 요청 기준 스트림당 약 186 tokens/s 처리량 달성
• vLLM 중심의 커스텀 백엔드 최적화 및 실험적 경로 검증
• Blackwell 아키텍처 기반의 추론 최적화 가능성 확인