b11800: llama: QSA 마스크를 위한 새로운 융합 연산(fused op) 생성 (#30640)
요약
본 기사는 Llama 모델의 QSA(Quantized Sparse Attention) 스코어링을 위한 새로운 융합 연산(fused op) 생성에 대한 내용을 다룹니다. 특히, 기존에는 특정 모델에 국한되었던 k-풀 마스크 연산을 ggml_top_k_mask로 일반화하여 DSA 및 DeepSeek V4 CSA와 같은 다양한 모델에서도 활용 가능하도록 확장했습니다.
핵심 포인트
- QSA 스코어링을 위한 새로운 융합 연산(fused op)이 추가되었습니다.
- ggml_top_k_mask를 통해 k-풀 마스크 연산을 일반화했습니다.
- DSA 및 DeepSeek V4 CSA 등 다양한 모델에서 top-k 마스크 구축이 가능해졌습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 llama.cpp Releases의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기