opencl: 일반적인 Flash Attention 디코딩 성능 최적화 ([#25366](https://github.com/ggml-org/ll
요약
llama.cpp 프로젝트에서 OpenCL을 활용한 Flash Attention 디코딩 성능 최적화 작업이 진행되었습니다. 다양한 양자화 형식(f16, q8_0, q4_0)에 대한 커널 개선과 Gemma-4 모델을 위한 DK=512 환경 최적화가 포함되었습니다.
핵심 포인트
- OpenCL 기반 Flash Attention 디코딩 커널 최적화 및 다양한 KV 양자화 지원
- Gemma-4 모델의 DK=512 환경에서의 디코딩 충돌 및 메모리 문제 해결
- 대역폭 제한을 고려하여 DK=512 디코딩 시 CPU 활용 로직 최적화
- Adreno 컴파일러의 메모리 부족 문제를 방지하기 위한 컴파일 옵션 조정
AI 자동 생성 콘텐츠
본 콘텐츠는 llama.cpp Releases의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기