b12065: kv-cache : 셀이 없는 시퀀스에 대해 0 kv_rows를 반환하지 않음 (#31570)
요약
본 기술 기사는 KV 캐시의 동작 개선에 관한 내용을 다룹니다. 셀이 존재하지 않는 초기 시퀀스 상태에서도 그래프를 구축할 수 있도록 기능을 확장하여 안정성을 높였습니다. 이로써 서버 워밍업과 같은 환경에서 스케줄러가 더 큰 마스크를 가진 그래프를 효율적으로 재계획하고 처리할 수 있게 되었습니다.
핵심 포인트
- 셀이 없는 시퀀스에서도 KV 캐시가 그래프 구축 가능하도록 개선됨.
- 서버 워밍업 등 초기 단계에서 안정적인 스케줄링 환경을 제공함.
- 기존의 0 반환에 따른 폴백(fallback) 문제를 해결하여 성능을 향상시킴.
- `GGML_SCHED_DEBUG_REALLOC=1` 사용으로 대형 마스크 처리가 개선됨.
AI 자동 생성 콘텐츠
본 콘텐츠는 llama.cpp Releases의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기0