server : 통합 KV 캐시 (unified KV cache) 없이 슬롯을 비우지 마십시오 ([#24190](https://github.co

server : 통합 KV 캐시 (unified KV cache) 없이 슬롯을 비우지 마십시오 (#24190)

• 유휴 슬롯 (idle slots)을 항상 RAM으로 내보내기

이 작업이 없으면 슬롯의 VRAM 캐시가 RAM에 기록되지 않을 수 있습니다. 만약 이 슬롯이 나중에 사용 중인 상태가 되면, 다른 슬롯에서 불필요한 전처리 (preprocessing)를 유발하게 됩니다.

• cont : 정리 (clean-up)

---

Co-authored-by: Christoph Weiss weiss@wsoptics.de
Co-authored-by: Georgi Gerganov ggerganov@gmail.com

macOS/iOS:

• macOS Apple Silicon (arm64)
• macOS Apple Silicon (arm64, KleidiAI 활성화) 비활성화됨 (DISABLED)
• macOS Intel (x64)
• iOS XCFramework

Linux:

<strong>Linux:</strong>

• Ubuntu x64 (CPU)
• Ubuntu arm64 (CPU)
• Ubuntu s390x (CPU)
• Ubuntu x64 (Vulkan)
• Ubuntu arm64 (Vulkan)
• Ubuntu x64 (ROCm 7.2)
• Ubuntu x64 (OpenVINO)
• Ubuntu x64 (SYCL FP32) DISABLED

<strong>Android:</strong>

• Android arm64 (CPU)

<strong>Windows:</strong>

<strong>Windows:</strong>

• Windows x64 (CPU)
• Windows arm64 (CPU)
• Windows x64 (CUDA 12) - CUDA 12.4 DLLs
• Windows x64 (CUDA 13) - CUDA 13.3 DLLs
• Windows x64 (Vulkan)
• Windows x64 (SYCL) DISABLED
• Windows x64 (HIP)

openEuler:

• DISABLED
• openEuler x86 (310p)
• openEuler x86 (910b, ACL Graph)
• openEuler aarch64 (310p)
• openEuler aarch64 (910b, ACL Graph)

UI:

• UI