sycl : DMMV 경로에서 K_QUANTS_PER_ITERATION을 1로 설정 ([#25063](https://github.com/ggml
요약
llama.cpp의 SYCL 백엔드에서 DMMV 경로의 K_QUANTS_PER_ITERATION을 1로 설정하여 GPU 활용도를 개선했습니다. 이를 통해 재정렬(reorder) 기능의 제한을 해제하고 B70 환경에서 추론 성능(t/s)을 크게 향상시켰습니다.
핵심 포인트
- SYCL 백엔드 내 DMMV 경로 최적화로 GPU 활용도 개선
- 재정렬(reorder) 기능 제한 해제를 통한 추론 속도 부스트
- QK_5를 위한 QK_WARP_SIZE 설정 변경 및 타입 지원 추가
- macOS, iOS, Linux 등 다양한 플랫폼용 바이너리 업데이트
AI 자동 생성 콘텐츠
본 콘텐츠는 llama.cpp Releases의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기