b11534: CUDA: SSM_SCAN 후 중복된 CUDA 복사 제거 (#29807)
요약
CUDA 관련 업데이트 내용으로, 상태 스냅샷을 재귀 캐시(recurrent cache)에 ssm_scan을 이용해 융합하는 기능이 추가되었습니다. 이를 통해 K==1 (non spec-dec) 시나리오에서도 중복된 CUDA 복사본 제거가 가능해져 효율성이 향상됩니다.
핵심 포인트
- CUDA에서 상태 스냅샷 재귀 캐시(recurrent cache)에 ssm_scan 융합 기능 추가
- K==1 (non spec-dec) 시나리오에서도 중복된 CUDA 복사 제거 가능
- 전반적인 메모리 및 연산 효율성 향상 기대
- CUDA: 업데이트된 상태 스냅샷을 재귀 캐시(recurrent cache)에 ssm_scan으로 융합(fuse copy)
- CUDA: K==1 (non spec-dec) 시나리오에서도 중복된 cuda 복사 제거
AI 자동 생성 콘텐츠
본 콘텐츠는 llama.cpp Releases의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기