server: /slots 엔드포인트에서 프롬프트 토큰 수 노출 ( #23454 ) /slots JSON 응답에 n_prompt_tokens,
요약
/slots 엔드포인트의 JSON 응답에 프롬프트 토큰 관련 필드들을 추가합니다. 이를 통해 클라이언트가 프롬프트 평가 진행 상황을 실시간으로 모니터링할 수 있습니다.
핵심 포인트
- n_prompt_tokens, n_prompt_tokens_processed, n_prompt_tokens_cache 필드 추가
- 클라이언트 측의 프롬프트 평가 모니터링 기능 지원
- 내부적으로 추적되던 데이터를 외부 API로 노출
server: /slots 엔드포인트에서 프롬프트 토큰 수 노출 ( #23454 ) /slots JSON 응답에 n_prompt_tokens, n_prompt_tokens_processed, n_prompt_tokens_cache를 추가합니다. 이 필드들은 이미 내부적으로 추적되고 있었으나 외부에 노출되지 않아, 클라이언트가 처리 중 프롬프트 평가 (prompt evaluation) 진행 상황을 모니터링하는 것이 불가능했습니다.
macOS/iOS: macOS Apple Silicon (arm64) macOS Apple Silicon (arm64, KleidiAI 활성화) macOS Intel (x64) iOS XCFramework Linux: Ubuntu x64 (CPU) Ubuntu arm64 (CPU) Ubuntu s390x (CPU) Ubuntu x64 (Vulkan) Ubuntu arm64 (Vulkan) Ubuntu x64 (ROCm 7.2) Ubuntu x64 (OpenVINO) Ubuntu x64 (SYCL FP32) Ubuntu x64 (SYCL FP16) Android: Android arm64 (CPU) Windows: Windows x64 (CPU) Windows arm64 (CPU) Windows x64 (CUDA 12) - CUDA 12.4 DLLs Windows x64 (CUDA 13) - CUDA 13.1 DLLs Windows x64 (Vulkan) Windows x64 (SYCL) Windows x64 (HIP) openEuler: openEuler x86 (310p) openEuler x86 (910b, ACL Graph) openEuler aarch64 (310p) openEuler aarch64 (910b, ACL Graph)
AI 자동 생성 콘텐츠
본 콘텐츠는 llama.cpp Releases의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기