HIP: gfx900에서 dense prefill을 위해 hipBLAS 사용, MoE를 위한 MMQ 유지

요약

AMD gfx900 아키텍처 GPU에서 dense prefill 성능을 높이기 위해 hipBLAS를 사용하고 MoE를 위한 MMQ를 유지하는 최적화 기술이 소개되었습니다. 이를 통해 Qwen 및 Gemma 모델에서 평균 약 40%의 성능 향상을 달성했습니다.

핵심 포인트

• gfx900 아키텍처(Vega 시리즈) 대상 GPU 전용 최적화
• hipBLAS 활용을 통한 dense prefill 성능 대폭 개선
• Gemma4 12B 모델에서 최대 65.1% 성능 향상 기록
• MoE 구조 유지를 위한 MMQ 기술 적용