b8966

요약

이 기술 기사는 ggml-cuda 라이브러리에 FlashAttention 지원을 추가한 업데이트에 대한 내용을 담고 있습니다. 특히 GQA(Grouped Query Attention) 비율이 32인 경우(DKQ=320/DV=256, ncols2=32)를 지원하며, MMA-f16 및 타일 커널 구성, 디스패치 로직 등을 개선했습니다. 또한 다양한 플랫폼(macOS, iOS, Linux, Android, Windows 등)과 아키텍처(CPU, CUDA, Vulkan, ROCm, OpenVINO, SYCL 등)에 대한 지원을 확장하고 버그를 수정하여 호환성을 높였습니다.

핵심 포인트

• ggml-cuda 라이브러리에 FlashAttention 기능을 추가하여 성능을 최적화했습니다.
• GQA 비율이 32인 특정 조건(DKQ=320/DV=256)에 대한 지원을 구현하고, 관련 커널 및 로직을 업데이트했습니다.
• MMA-f16와 타일 커널 구성, 디스패치 로직 개선을 통해 전반적인 계산 효율성을 향상시켰습니다.
• macOS Apple Silicon, 다양한 Linux 아키텍처(x64, arm64), Windows 및 Android 등 광범위한 플랫폼과 백엔드(CUDA, Vulkan, ROCm, OpenVINO, SYCL)에 대한 지원을 확장했습니다.