gated_delta_net 이후의 불필요한 CUDA 복사 제거
요약
llama.cpp 프로젝트에서 gated_delta_net 연산 시 발생하는 불필요한 CUDA 복사 과정을 제거하여 성능을 최적화했습니다. 중간 테일 쓰기와 복사 커널을 건너뛰고 CUDA 커널이 순환 캐시에 직접 기록하도록 개선되었습니다.
핵심 포인트
- gated_delta_net 이후 발생하는 불필요한 CUDA 복사(ggml_cuda_cpy) 제거
- 중간 테일 쓰기 및 복사 커널을 생략하여 연산 효율성 증대
- CUDA GDN 커널이 상태 스냅샷을 순환 캐시에 직접 기록하도록 변경
- MTP(Multi-Token Prediction) 환경에서의 오버헤드 감소
AI 자동 생성 콘텐츠
본 콘텐츠는 llama.cpp Releases의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기0