b9038
요약
ggml 라이브러리가 OpenCL 메모리 추정 기능을 추가하고 이를 통해 성능 최적화가 가능해졌습니다. 또한, macOS, iOS, Linux, Android, Windows 등 광범위한 운영체제와 아키텍처를 지원하며 다양한 백엔드(CUDA, Vulkan, ROCm, SYCL 등) 통합을 완료하여 플랫폼 호환성과 범용성을 크게 향상시켰습니다.
핵심 포인트
- OpenCL 메모리 추정 기능 도입: `--fit` 옵션을 통해 `CL_DEVICE_GLOBAL_MEM_SIZE`를 사용하여 정확한 OpenCL 메모리 크기를 측정하고 최적화에 활용할 수 있게 되었습니다.
- 다중 플랫폼 및 아키텍처 지원 강화: macOS (Apple Silicon/Intel), iOS, Linux (x64, arm64, s390x 등), Android, Windows를 포함하여 광범위한 환경을 커버합니다.
- 다양한 하드웨어 가속기 백엔드 통합: CUDA, Vulkan, ROCm, OpenVINO, SYCL, HIP 등 주요 GPU 및 컴퓨팅 API와의 통합을 완료하여 범용성을 극대화했습니다.
ggml : --fit 옵션에 대해 OpenCL 메모리 추정을 위해 CL_DEVICE_GLOBAL_MEM_SIZE 를 사용함 (#22688)
ggml : --fit 에 대한 OpenCL 메모리 추정값을 출력함
Sign-off: Florian Reinle (f.reinle@otec.de)
ggml : OpenCL 메모리 백엔드 통합 완료. 추정된 메모리 값이 표시됨.
Sign-off: Florian Reinle (f.reinle@otec.de)
Sign-off: Florian Reinle (f.reinle@otec.de)
macOS/iOS:
- macOS Apple Silicon (arm64)
- macOS Apple Silicon (arm64, KleidiAI 활성화됨)
- macOS Intel (x64)
iOS XCFramework
Linux:
- Ubuntu x64 (CPU)
- Ubuntu arm64 (CPU)
- Ubuntu s390x (CPU)
- Ubuntu x64 (Vulkan)
- Ubuntu arm64 (Vulkan)
- Ubuntu x64 (ROCm 7.2)
- Ubuntu x64 (OpenVINO)
- Ubuntu x64 (SYCL FP32)
- Ubuntu x64 (SYCL FP16)
Android:
- Android arm64 (CPU)
Windows:
- Windows x64 (CPU)
- Windows arm64 (CPU)
- Windows x64 (CUDA 12) - CUDA 12.4 DLLs
- Windows x64 (CUDA 13) - CUDA 13.1 DLLs
- Windows x64 (Vulkan)
- Windows x64 (SYCL)
- Windows x64 (HIP)
openEuler:
- openEuler x86 (310p)
- openEuler x86 (910b, ACL Graph)
- openEuler aarch64 (310p)
- openEuler aarch64 (910b, ACL Graph)
AI 자동 생성 콘텐츠
본 콘텐츠는 llama.cpp Releases의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기3