ggml-webgpu: mul-mat 및 mul-mat-id 에서 벡터화 처리 수정 (#22578) mul-mat-fast 파이프라인의 벡터화
요약
본 기술 기사는 ggml-webgpu 라이브러리의 성능 개선을 다루며, 특히 `mul-mat` 및 `mul-mat-id` 함수에서 벡터화 처리 로직을 수정하고 최적화했습니다. 주요 목표는 `mul-mat-fast` 파이프라인의 벡터화 조건을 개선하여 전반적인 연산 속도를 향상시키는 것입니다. 이 업데이트는 macOS, Linux, Android, Windows 등 광범위한 다양한 아키텍처와 백엔드(CPU, Vulkan, CUDA, ROCm, OpenVINO 등)를 지원합니다.
핵심 포인트
- ggml-webgpu 라이브러리의 성능 최적화 업데이트입니다.
- `mul-mat` 및 `mul-mat-id` 함수에서 벡터화 처리 로직을 수정하여 효율성을 높였습니다.
- `mul-mat-fast` 파이프라인의 벡터화 조건을 개선하여 연산 속도를 향상시켰습니다.
- macOS, Linux, Windows 등 다양한 운영체제와 아키텍처를 지원하며, CUDA, Vulkan, ROCm 등 여러 백엔드를 포괄합니다.
ggml-webgpu: mul-mat 및 mul-mat-id 에서 벡터화 처리 수정 (#22578)
mul-mat-fast 파이프라인의 벡터화 조건을 수정하고, mul-mat-id 에 벡터화 변형을 추가합니다.
@CISC 의 제안을 반영했습니다.
공동 작성자: Sigbjørn Skjæret (sigbjorn.skjaeret@scala.com)
지원 플랫폼:
-
macOS/iOS:
- macOS Apple Silicon (arm64)
- macOS Apple Silicon (arm64, KleidiAI 활성화됨)
- macOS Intel (x64)
- iOS XCFramework
-
Linux:
- Ubuntu x64 (CPU)
- Ubuntu arm64 (CPU)
- Ubuntu s390x (CPU)
- Ubuntu x64 (Vulkan)
- Ubuntu arm64 (Vulkan)
- Ubuntu x64 (ROCm 7.2)
- Ubuntu x64 (OpenVINO)
- Ubuntu x64 (SYCL FP32)
- Ubuntu x64 (SYCL FP16)
-
Android:
- Android arm64 (CPU)
-
Windows:
- Windows x64 (CPU)
- Windows arm64 (CPU)
- Windows x64 (CUDA 12) - CUDA 12.4 DLLs
- Windows x64 (CUDA 13) - CUDA 13.1 DLLs
- Windows x64 (Vulkan)
- Windows x64 (SYCL)
- Windows x64 (HIP)
-
openEuler:
- openEuler x86 (310p)
- openEuler x86 (910b, ACL Graph)
- openEuler aarch64 (310p)
- openEuler aarch64 (910b, ACL Graph)
AI 자동 생성 콘텐츠
본 콘텐츠는 llama.cpp Releases의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기2