cuda : 양자화된 연결 (quantized concat)을 위한 텐서 연속성 (tensor contiguity) 요구 사항 완화 ([#256
요약
llama.cpp 프로젝트에서 CUDA를 사용한 양자화된 연결(quantized concat) 시 텐서 연속성 요구 사항을 완화하는 업데이트가 진행되었습니다. 이를 통해 비연속적 텐서에 대한 지원이 강화되었으며 관련 테스트 케이스가 추가되었습니다.
핵심 포인트
- CUDA 환경에서 양자화된 연결 시 텐서 연속성 제약 완화
- 비연속적 양자화 연결(non-contiguous quantized concat) 테스트 케이스 추가
- ggml 라이브러리 전반의 연속성 요구 사항 완화 적용
- macOS, Linux 등 다양한 플랫폼용 최신 바이너리 릴리즈
cuda : 양자화된 연결 (quantized concat)을 위한 텐서 연속성 (tensor contiguity) 요구 사항 완화 (#25678)
-
cuda : 양자화된 연결 (quantized concat)을 위한 텐서 연속성 (tensor contiguity) 요구 사항 완화
-
tests : 비연속적 양자화 연결 (non-contiguous quantized concat)에 대한 테스트 케이스 추가
-
ggml : 양자화된 연결 (quantized concat)을 위한 연속성 (contiguity) 요구 사항 완화
Co-authored-by: Stanisław Szymczyk sszymczy@gmail.com
macOS/iOS:
- macOS Apple Silicon (arm64)
- macOS Apple Silicon (arm64, KleidiAI 활성화) 비활성화됨
- macOS Intel (x64)
- iOS XCFramework
Linux:
Android:
Windows:
- Windows x64 (CPU)
- Windows arm64 (CPU)
- Windows arm64 (OpenCL Adreno)
- Windows x64 (CUDA 12) - CUDA 12.4 DLLs
- Windows x64 (CUDA 13) - CUDA 13.3 DLLs
- Windows x64 (Vulkan)
- Windows x64 (OpenVINO)
- Windows x64 (SYCL)
- Windows x64 (HIP)
openEuler:
- DISABLED
- openEuler x86 (310p)
- openEuler x86 (910b, ACL Graph)
- openEuler aarch64 (310p)
- openEuler aarch64 (910b, ACL Graph)
UI:
AI 자동 생성 콘텐츠
본 콘텐츠는 llama.cpp Releases의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기