ggml-hip: HIP 빌드를 위한 -ffast-math 활성화 (a-huk)
요약
ggml-hip 빌드 시 -ffast-math 옵션을 활성화하여 AMD GPU(RDNA3.5)에서의 추론 성능을 개선한 벤치마크 결과입니다. Qwen 모델 시리즈를 대상으로 테스트한 결과, 다양한 컨텍스트 길이에 걸쳐 약 0.6%에서 최대 7.0%의 성능 향상을 확인했습니다.
핵심 포인트
- -ffast-math 활성화로 AMD GPU 기반 추론 속도 향상
- RDNA3.5(gfx1151) 환경에서 Qwen 모델 성능 개선 확인
- 컨텍스트 길이에 따라 약 1%~7%의 성능 향상 폭 발생
- FA(Flash Attention) 설정 여부와 관계없이 성능 차이 유효
벤치마크 (Benchmarks)
최신 master (2f6c815) 대비 gfx1151 (RDNA3.5/Strix Halo, 40 CUs)에서 벤치마크를 수행했습니다. 이 두 모델은 두 가지 FA 경로를 모두 포함합니다.
Qwen3.5-27B Q4_K_M — head_dim=256 (TILE 경로), FA=1, prompt t/s:
pp upstream + fast-math delta
512 307 321 +4.6%
2048 302 323 +7.0%
4096 300 312 +4.0%
8192 288 307 +6.6%
16384 263 280 +6.5%
32768 233 246 +5.6%
Qwen3-0.6B BF16 — head_dim=64 (MMA 경로), FA=1, prompt t/s:
pp upstream + fast-math delta
512 9325 9642 +3.4%
2048 8609 8892 +3.3%
4096 7485 7661 +2.4%
8192 5770 5846 +1.3%
16384 3581 3636 +1.5%
32768 2037 2049 +0.6%
FA=0 결과는 두 빌드 모두에서 본질적으로 동일했습니다.
제출자: /u/pmttyji
[link] [comments]
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기