Dual 3090 Gemma 4 31B QAT: MTP를 사용하지 않을 때보다 MTP 사용 시 성능 저하

요약

Dual 3090 환경에서 Gemma 4 31B 모델을 구동할 때, MTP(Multi-Token Prediction) 사용 시 오히려 TPS가 저하되는 현상을 분석합니다. 단일 3090 환경과 달리 텐서 병렬화 환경에서는 MTP 적용 시 성능이 불안정해지는 특이점을 보고합니다.

핵심 포인트

• Dual 3090 환경에서 MTP 사용 시 TPS가 27~34 사이로 불안정하게 변동함
• MTP 미사용 시 약 39.7 TPS를 유지하나, 사용 시 성능 저하 발생
• 단일 3090에서는 MTP가 성능을 향상시키지만, Dual 3090에서는 반대 현상 관찰
• 텐서 병렬화(Tensor Parallelism) 환경에서의 MTP 효율성 문제 제기