ggml-zendnn : 작은 배치 크기(small batch sizes)에 대해 CPU 백엔드(backend)로의 적응형 폴백(adaptive
요약
ggml-zendnn 라이브러리에 작은 배치 크기(small batch sizes)에 대한 CPU 백엔드 적응형 폴백 기능이 추가되었습니다. 이 기능을 통해 특정 환경에서 문제가 발생할 경우 자동으로 안정적인 CPU 백엔드로 전환하여 호환성을 높였습니다. 또한, 사용자가 런타임 환경 변수 `GGML_ZENDNN_ADAPTIVE_FALLBACK`을 통해 이 적응형 폴백 동작을 제어할 수 있게 되었습니다.
핵심 포인트
- 작은 배치 크기 처리를 위해 CPU 백엔드로의 적응형 폴백 기능이 추가됨.
- 런타임 환경 변수 `GGML_ZENDNN_ADAPTIVE_FALLBACK`을 통해 적응형 폴백 동작 제어 가능 (기본값: 활성화).
- 적응형 폴백 비활성화 시 기존의 폴백 로직으로 복구되어 안정성을 유지함.
- macOS, Linux, Android, Windows 등 광범위한 플랫폼 및 다양한 백엔드(CPU, Vulkan, CUDA, ROCm, OpenVINO, SYCL, HIP)를 지원하도록 업데이트됨.
ggml-zendnn : 작은 배치 크기(small batch sizes)에 대해 CPU 백엔드(backend)로의 적응형 폴백(adaptive fallback) 적용 ( #22681 )
ggml-zendnn : 적응형 폴백(adaptive fallback)을 제어하기 위한 런타임 환경 변수 GGML_ZENDNN_ADAPTIVE_FALLBACK 추가 (기본값: 활성화)
ggml-zendnn : 적응형 폴백(adaptive fallback)이 비활성화되었을 때 원래의 폴백(fallback) 로직 복구
macOS/iOS: macOS Apple Silicon (arm64)
macOS Apple Silicon (arm64, KleidiAI 활성화)
macOS Intel (x64)
iOS XCFramework
Linux: Ubuntu x64 (CPU)
Ubuntu arm64 (CPU)
Ubuntu s390x (CPU)
Ubuntu x64 (Vulkan)
Ubuntu arm64 (Vulkan)
Ubuntu x64 (ROCm 7.2)
Ubuntu x64 (OpenVINO)
Ubuntu x64 (SYCL FP32)
Ubuntu x64 (SYCL FP16)
Android: Android arm64 (CPU)
Windows: Windows x64 (CPU)
Windows arm64 (CPU)
Windows x64 (CUDA 12) - CUDA 12.4 DLLs
Windows x64 (CUDA 13) - CUDA 13.1 DLLs
Windows x64 (Vulkan)
Windows x64 (SYCL)
Windows x64 (HIP)
openEuler: openEuler x86 (310p)
openEuler x86 (910b, ACL Graph)
openEuler aarch64 (310p)
openEuler aarch64 (910b, ACL Graph)
AI 자동 생성 콘텐츠
본 콘텐츠는 llama.cpp Releases의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기