hexagon: MUL_MAT 및 MUL_MAT_ID에서 Q4_1 지원 추가 ([#23647](https://github.com/ggml-org
요약
llama.cpp의 Hexagon DSP 지원 업데이트를 통해 MUL_MAT 및 MUL_MAT_ID 연산에서 Q4_1 양자화 지원이 추가되었습니다. 이를 통해 ggml-hexagon이 전체 그래프를 점유하여 CPU 부하를 줄이고 효율적인 연산이 가능해졌습니다.
핵심 포인트
- Hexagon DSP에서 Q4_1 matmul/matvec 지원 추가
- Q8_1 동적 양자화를 통한 vec_dot 연산 최적화
- Early wakeup 및 op-batch polling 지원으로 지연 시간 개선
- ggml-hexagon의 그래프 점유율 확대로 CPU 여유 시간 확보
AI 자동 생성 콘텐츠
본 콘텐츠는 llama.cpp Releases의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기