b11632: cuda, hip: GDN chunked kernel
요약
본 기사는 cuda와 hip 환경에서 GDN(Generalized Dynamic Network) chunked kernel 구현에 대한 기술 업데이트를 다룹니다. 특히 Ampere 및 Ada GPU 아키텍처에서 GDN MMA 활성화가 테스트되었으며, RTX 3090과 RTX 4090을 통해 정확성 및 prefill 벤치마크가 진행되었습니다.
핵심 포인트
- cuda/hip 환경에 GDN chunked kernel 구현 적용
- Ampere 및 Ada GPU에서 GDN MMA 활성화 테스트 완료
- RTX 3090, RTX 4090으로 정확성 및 prefill 벤치마크 수행
- cuda, hip: GDN chunked kernel
Ported-from: tetherto#257
Source-commit: 53f0027
Co-authored-by: Aman Gupta [email protected]
-
이전 빌드 수정 (fix older builds)
-
검토된 수정 사항 (review fixes)
-
cuda: 테스트된 Ampere 및 Ada GPU에서 GDN MMA 활성화
RTX 3090 및 RTX 4090의 정확성(correctness) 및 prefill 벤치마크를 거쳐 SM86 및 SM89 활성화. 다른 미테스트 아키텍처는 기존 폴백을 유지합니다.
Assisted-by: Codex
-
cuda : GDN MMA에 리팩토링된 swizzle API 사용
-
ggml : n_tokens > K일 때만 GDN이 최종 상태를 보장함
-
cuda : 짧은 GDN MMA 단계 주석 추가
Co-authored-by: gianni-cor [email protected]
Co-authored-by: Aman Gupta [email protected]
AI 자동 생성 콘텐츠
본 콘텐츠는 llama.cpp Releases의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기