llama: 버퍼가 할당되지 않았을 때 K/V rotation 입력에 대한 가드 추가 ([#25215](https://github.com/ggm
요약
llama.cpp에서 K/V rotation 입력 시 버퍼가 할당되지 않았을 경우 발생하는 중단 문제를 해결하기 위한 가드 로직을 추가했습니다. Speculative decoding 과정에서 텐서 버퍼가 NULL인 상태로 함수가 호출되어 발생하는 오류를 방지합니다.
핵심 포인트
- K/V rotation 입력 시 NULL 버퍼에 대한 안전 장치 추가
- Speculative decoding(DFlash) 시 발생하는 텐서 버퍼 미할당 문제 해결
- GGML_ASSERT 오류로 인한 프로그램 중단 방지
AI 자동 생성 콘텐츠
본 콘텐츠는 llama.cpp Releases의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기