b11730: cuda: 사용 가능한 작업량에 맞춰 MMQ Stream-K 블록 제한 (#30553)
요약
CUDA 커널 최적화와 관련된 업데이트 내용입니다. Stream-K 블록 제한을 통해 작은 행렬 연산에서 발생하는 불필요한 CUDA 블록과 오버헤드를 제거했습니다. 또한, 모든 출력 타일에 걸친 k 반복 횟수로 그리드를 제한하여 효율성을 높였습니다.
핵심 포인트
- Stream-K 블록 제한으로 과도한 CUDA 블록 및 오버헤드 제거
- 작업량에 맞춰 그리드를 제한하여 성능 최적화 달성
- MUL_MAT 및 MUL_MAT_ID 백엔드가 RTX 5090에서 테스트 통과
AI 자동 생성 콘텐츠
본 콘텐츠는 llama.cpp Releases의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기