SYCL/Intel 관련 llama.cpp 최신 업데이트
요약
llama.cpp가 SYCL 및 Intel 관련 최신 업데이트를 제공하며, 여러 성능 향상과 기능 개선이 이루어졌습니다. 특히 Flash Attention을 통한 XMX 엔진 사용, Qwen3.6-27b 모델의 프리필 속도 대폭 향상 등이 포함되었습니다.
핵심 포인트
- SYCL/Intel 지원에 대한 다양한 수정 및 최적화가 적용됨
- Flash Attention을 활용한 XMX 엔진 성능 개선이 이루어짐
- Qwen3.6-27b 모델에서 전반적인 프리필 속도 향상을 확인 가능
SYCL/Intel을 위한 몇 가지 수정 및 성능 향상(boost) 내용입니다.
병합된 PR(Pull Request) 목록:
- [SYCL] KV f16에 대한 oneDNN graph API (SDPA)를 통한 XMX 엔진 사용 Flash Attention (Xe2용)
- Qwen3.6-27b-Q8_0의 p=512에서 1.21배, p=80k에서 4.26배 프리필(prefill) 속도 향상 (#25222)
- sycl: USM 시스템 할당에 대한 최소 버퍼 크기 증가 (#25525)
- [SYCL] OP XIELU 지원 (#25550)
- [SYCL] conv2d_dw 커널 타입이 fp16을 지원하도록 수정 (#25653)
- [SYCL] Q2_K, Q4_K, Q5_K의 get_rows 관련 UT(Unit Test) 큰 오류 수정 (#25656) (제출자: /u/pmttyji)
[링크] [댓글]
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기0