b11567: llama 추론 중 compute graph 재할당 보고 기능 추가 (#30329)
요약
llama.cpp에 compute graph 재할당 보고 기능이 추가되었습니다. 사용자가 등록하는 콜백을 통해, 그래프 버퍼가 부족하여 재할당될 때 알림을 받을 수 있습니다. 이 기능을 활용해 백엔드 할당 및 그래프 크기 변화를 추적하고 성능 통계를 얻을 수 있습니다.
핵심 포인트
- ggml_backend_sched_set_realloc_callback 추가로 재할당 감지 가능
- 콜백은 백엔드 할당과 그래프 크기 변경 여부를 보고함
- llama_context는 이 콜백을 등록하고 성능 통계를 제공함
ggml_backend_sched_set_realloc_callback을 통해 사용자가 등록하는 선택적 ggml_backend_sched_realloc_callback이 추가되었습니다. 이 콜백은 그래프에 할당된 버퍼가 충분하지 않아 재할당되어야 할 때 알림을 받습니다. 이 콜백은 백엔드 할당과 그래프 크기가 이전 스케줄링 이후 변경되었는지 여부를 보고합니다.
llama_context는 스케줄러를 생성할 때(새로운 llama_context::sched_new 헬퍼로 감싸짐) 이 콜백을 등록하고, 백엔드 할당이 변경된 후 발생하는 재할당은 예상되는 것으로 처리하며, 나머지 재할당은 이전 스케줄링된 그래프 대비 그래프 크기 변화에 따라 계산합니다. 두 카운터 모두 성능 통계(perf stats)의 한 줄에서 보고됩니다.
Assisted-by: pi:llama.cpp/Qwen3.8-Flash-Next
AI 자동 생성 콘텐츠
본 콘텐츠는 llama.cpp Releases의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기