b9049
요약
llama.cpp의 v0.2.0-b9049 버전 업데이트는 MiniCPM-V 4.6 모델 지원을 주요 기능으로 추가했습니다. 이 외에도 전반적인 코드 버그 수정, 최적화(예: flash attention 지원), 그리고 다양한 플랫폼 및 아키텍처에 대한 광범위한 빌드 호환성을 확보했습니다. 사용자는 macOS, Linux (CPU/GPU 가속 포함), Android, Windows 등 거의 모든 주요 환경에서 이 업데이트된 llama.cpp를 사용할 수 있습니다.
핵심 포인트
- MiniCPM-V 4.6 모델을 공식적으로 지원하여 멀티모달 기능을 확장했습니다.
- Flash Attention 지원을 위한 최적화가 이루어져 성능 향상을 기대할 수 있습니다.
- 다양한 하드웨어 및 OS 환경(Apple Silicon, Windows CUDA/Vulkan/SYCL, Linux ROCm 등)에 대한 빌드 호환성이 대폭 개선되었습니다.
- 코드 스타일 정리와 여러 버그 수정이 포함되어 전반적인 안정성과 유지보수성이 높아졌습니다.
mtmd : MiniCPM-V 4.6 (#22529) 를 지원하는 새 브랜치에서 MiniCPM-V 4.6 을 지원합니다.
Signed-off-by: tc-mb tianchi_cai@icloud.com
fix code bug
Signed-off-by: tc-mb tianchi_cai@icloud.com
fix pre-commit
Signed-off-by: tc-mb tianchi_cai@icloud.com
fix convert
Signed-off-by: tc-mb tianchi_cai@icloud.com
rename clip_graph_minicpmv4_6
Signed-off-by: tc-mb tianchi_cai@icloud.com
use new TYPE_MINICPMV4_6
Signed-off-by: tc-mb tianchi_cai@icloud.com
use build_attn to allow flash attention support
Signed-off-by: tc-mb tianchi_cai@icloud.com
no use legacy code, restored here.
Signed-off-by: tc-mb tianchi_cai@icloud.com
use the existing tensors name
Signed-off-by: tc-mb tianchi_cai@icloud.com
unused ctx->model.hparams.minicpmv_version
Signed-off-by: tc-mb tianchi_cai@icloud.com
use n_merge for slice alignment
Signed-off-by: tc-mb tianchi_cai@icloud.com
borrow wa_layer_indexes for vit_merger insertion point
Signed-off-by: tc-mb tianchi_cai@icloud.com
fix code style
Signed-off-by: tc-mb tianchi_cai@icloud.com
Update convert_hf_to_gguf.py
Co-authored-by: Sigbjørn Skjæret sigbjorn.skjaeret@scala.com
use filter_tensors and add model.vision_tower
Signed-off-by: tc-mb tianchi_cai@icloud.com
fix chkhsh
Signed-off-by: tc-mb tianchi_cai@icloud.com
fix type check
Signed-off-by: tc-mb tianchi_cai@icloud.com
Signed-off-by: tc-mb tianchi_cai@icloud.com
Co-authored-by: Sigbjørn Skjæret sigbjorn.skjaeret@scala.com
macOS/iOS:
macOS Apple Silicon (arm64)
macOS Apple Silicon (arm64, KleidiAI enabled)
macOS Intel (x64)
iOS XCFramework
Linux:
Ubuntu x64 (CPU)
Ubuntu arm64 (CPU)
Ubuntu s390x (CPU)
Ubuntu x64 (Vulkan)
Ubuntu arm64 (Vulkan)
Ubuntu x64 (ROCm 7.2)
Ubuntu x64 (OpenVINO)
Ubuntu x64 (SYCL FP32)
Ubuntu x64 (SYCL FP16)
Android:
Android arm64 (CPU)
Windows:
Windows x64 (CPU)
Windows arm64 (CPU)
Windows x64 (CUDA 12) - CUDA 12.4 DLLs
Windows x64 (CUDA 13) - CUDA 13.1 DLLs
Windows x64 (Vulkan)
Windows x64 (SYCL)
Windows x64 (HIP)
openEuler:
openEuler x86 (310p)
openEuler x86 (910b, ACL Graph)
openEuler aarch64 (310p)
openEuler aarch64 (910b, ACL Graph)
AI 자동 생성 콘텐츠
본 콘텐츠는 llama.cpp Releases의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기