b9313 릴리스
요약
이번 릴리스는 ggml 라이브러리의 성능 개선 및 플랫폼 지원 확대를 다루고 있습니다. OpenMP를 활용하여 양자화(quant) 초기화 과정을 병렬화했으며, macOS, Linux, Android 등 다양한 운영체제와 아키텍처에 맞는 최신 바이너리를 제공합니다.
핵심 포인트
- OpenMP를 이용한 quant LUT init 병렬화로 성능 향상
- macOS (Apple Silicon/Intel), Linux (x64/arm64/s390x) 등 광범위한 플랫폼 지원
- Vulkan, ROCm, OpenVINO, SYCL 등 다양한 가속기 백엔드 제공
ggml : quant LUT init 병렬화 (#23595)
- OpenMP를 사용하여 iq2xs_init_impl 및 iq3xs_init_impl을 병렬화합니다.
- OpenMP 감지 로직을 ggml-cpu에서 ggml-base로 이동시켰습니다.
- ggml-config.cmake.in의 OpenMP 종속성을 업데이트했습니다.
macOS/iOS:
- macOS Apple Silicon (arm64)
- macOS Apple Silicon (arm64, KleidiAI 활성화)
- macOS Intel (x64)
- iOS XCFramework
Linux:
-
[Ubuntu x64 (SYCL FP32)](https://github.com/ggml-org/llama.cpp/releases/download/b9313/llama-b9313-bin-ubuntu-sycl-fp32-x64.tar.gz
Android:
Windows:
- Windows x64 (CPU)
- Windows arm64 (CPU)
- Windows x64 (CUDA 12) - CUDA 12.4 DLLs
- Windows x64 (CUDA 13) - CUDA 13.1 DLLs
- Windows x64 (Vulkan)
- Windows x64 (SYCL)
- Windows x64 (HIP)
openEuler:
openEuler:
- openEuler x86 (310p)
- openEuler x86 (910b, ACL Graph)
- openEuler aarch64 (310p)
- openEuler aarch64 (910b, ACL Graph)
UI:
AI 자동 생성 콘텐츠
본 콘텐츠는 llama.cpp Releases의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기