ggml-zendnn : 작은 배치 크기(small batch sizes)에 대해 CPU 백엔드(backend)로의 적응형 폴백(adaptive

요약

ggml-zendnn 라이브러리에 작은 배치 크기(small batch sizes)에 대한 CPU 백엔드 적응형 폴백 기능이 추가되었습니다. 이 기능을 통해 특정 환경에서 문제가 발생할 경우 자동으로 안정적인 CPU 백엔드로 전환하여 호환성을 높였습니다. 또한, 사용자가 런타임 환경 변수 `GGML_ZENDNN_ADAPTIVE_FALLBACK`을 통해 이 적응형 폴백 동작을 제어할 수 있게 되었습니다.

핵심 포인트

• 작은 배치 크기 처리를 위해 CPU 백엔드로의 적응형 폴백 기능이 추가됨.
• 런타임 환경 변수 `GGML_ZENDNN_ADAPTIVE_FALLBACK`을 통해 적응형 폴백 동작 제어 가능 (기본값: 활성화).
• 적응형 폴백 비활성화 시 기존의 폴백 로직으로 복구되어 안정성을 유지함.
• macOS, Linux, Android, Windows 등 광범위한 플랫폼 및 다양한 백엔드(CPU, Vulkan, CUDA, ROCm, OpenVINO, SYCL, HIP)를 지원하도록 업데이트됨.