ggml: 빠른 Walsh-Hadamard 변환을 통한 KV 회전 구현 ( #21352 ) ( #22631)
요약
이 기술 기사는 ggml 라이브러리를 활용하여 빠른 Walsh-Hadamard 변환(WHT)을 통해 KV 회전 기능을 구현하는 방법을 다룹니다. 이 기능은 다양한 운영체제 및 아키텍처(macOS, iOS, Linux, Android, Windows 등)와 백엔드 가속기(CUDA, Vulkan, ROCm, OpenVINO, SYCL 등)를 지원하도록 포팅되었음을 보여줍니다.
핵심 포인트
- ggml을 사용하여 KV 회전 기능을 구현함으로써 효율적인 트랜스포머 모델 연산이 가능합니다.
- 광범위한 플랫폼 및 아키텍처 지원: macOS, iOS, Linux, Android, Windows 등 주요 OS를 커버합니다.
- 다양한 하드웨어 가속기 백엔드를 통합: CUDA, Vulkan, ROCm, OpenVINO, SYCL 등을 통해 최적화된 성능을 제공합니다.
- 최신 AI 개발 환경에 맞춰 폭넓은 호환성을 확보했습니다.
ggml : 빠른 Walsh-Hadamard 변환을 통한 KV 회전 구현 ( #21352 ) ( #22631 )
macOS/iOS: macOS Apple Silicon (arm64) macOS Apple Silicon (arm64, KleidiAI enabled) macOS Intel (x64) iOS XCFramework
Linux: Ubuntu x64 (CPU) Ubuntu arm64 (CPU) Ubuntu s390x (CPU) Ubuntu x64 (Vulkan) Ubuntu arm64 (Vulkan) Ubuntu x64 (ROCm 7.2) Ubuntu x64 (OpenVINO) Ubuntu x64 (SYCL FP32) Ubuntu x64 (SYCL FP16)
Android: Android arm64 (CPU)
Windows: Windows x64 (CPU) Windows arm64 (CPU) Windows x64 (CUDA 12) - CUDA 12.4 DLLs Windows x64 (CUDA 13) - CUDA 13.1 DLLs Windows x64 (Vulkan) Windows x64 (SYCL) Windows x64 (HIP)
openEuler: openEuler x86 (310p) openEuler x86 (910b, ACL Graph) openEuler aarch64 (310p) openEuler aarch64 (910b, ACL Graph)
AI 자동 생성 콘텐츠
본 콘텐츠는 llama.cpp Releases의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기