b11453: llama에서 glm5-next 희소 어텐션의 gather 경로 제거 (#30042)
요약
이 커밋은 Llama 모델에서 GLM-5-Next의 희소 어텐션(sparse attention) 구현을 개선하는 내용을 담고 있습니다. 기존에 사용되던 gather 경로는 특정 조건(n_ubatch <= 16)에서만 작동했으나, 이제 scatter 경로가 모든 경우를 처리하도록 수정되었습니다.
핵심 포인트
- gather 경로 제거 및 scatter 경로로 통합하여 안정성 향상
- flash attention 백엔드가 마스킹된 행을 건너뛰므로 scatter 경로가 적합함
- 관련 플래그(gather flag, gather_mla_rows 등)들이 제거됨
gather 경로는 일반 matmul과 softmax를 사용하여 선택된 latents에 접근했습니다. 이는 n_ubatch <= 16일 때만 작동했으며, flash attention 백엔드는 이제 n_kv_max를 통해 마스킹된 행을 건너뛰므로, scatter 경로가 모든 경우를 처리합니다.
gather 플래그, gather_mla_rows 및 set_input_kpool을 제거했습니다. set_input_kpool은 항상 패딩을 n_kv sentinel에 매핑하며, 슬롯 마스크는 오직 scatter만 읽기 때문에 sel_mask가 됩니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 llama.cpp Releases의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기