B300을 사용하여 Gemma 4 31B의 속도 기록을 경신하겠습니다🔥

요약

B300 가속기를 활용하여 Gemma 4 31B 모델의 추론 속도를 극대화하기 위한 기술적 최적화 방안을 다룹니다. FA4 어텐션, 전용 K=V 캐시, FP4 기반의 투기적 디코딩(Speculative Decoding) 등 다양한 최적화 기법을 적용합니다.

핵심 포인트

• B300을 활용한 Gemma 4 31B의 추론 속도 경신 목표
• FA4 exact 어텐션 및 Gemma 전용 K=V latent 캐시 적용
• FP4/Sage3 MTP 및 적응형 DFlash를 통한 투기적 디코딩 최적화
• SGLang Spec V2 통합을 위한 전용 PyTorch/CuTeDSL 런타임 구축