server, webui: vLLM API 호환성을 위해 continue_final_message 플래그 허용 ( #23012 ) server,
요약
이 업데이트는 vLLM 및 transformers API의 호환성을 높이기 위해 `continue_final_message` 플래그를 추가합니다. 이 플래그는 특히 `add_generation_prompt`가 false로 설정되었을 때 기존의 prefill_assistant 코드 경로를 트리거하도록 설계되었습니다. WebUI는 '계속(Continue)' 버튼 사용 시 이 플래그와 `add_generation_prompt: false` 조합을 전송하며, 이는 향후 채팅 서비스의 템플릿별 prefill 로직 구현에 기반을 마련합니다.
핵심 포인트
- vLLM 및 transformers API 호환성을 위해 `continue_final_message` 플래그가 추가되었습니다.
- `add_generation_prompt: false`와 함께 사용될 때 기존 `prefill_assistant` 경로를 트리거하도록 설계되었습니다.
- WebUI의 '계속(Continue)' 기능은 이 새로운 플래그 조합을 전송하여 API 호환성을 유지합니다.
- 두 플래그(`continue_final_message`와 `add_generation_prompt`)가 모두 true일 경우, vLLM/transformers 계약에 따라 HTTP 400 에러로 거부됩니다.
server, webui: vLLM API 호환성을 위해 continue_final_message 플래그 허용 ( #23012 ) server, webui: vLLM API 호환성을 위해 continue_final_message 플래그 허용 vLLM 및 transformers API의 continue_final_message 바디 플래그를 추가합니다. add_generation_prompt를 false로 설정하여 함께 사용하면, 서버 측의 opt.prefill_assistant 옵션과 관계없이 기존의 prefill_assistant 코드 경로를 트리거합니다. vLLM 동작과 일치하도록 add_generation_prompt가 true인 경우와의 상호 배제(Mutual exclusion)를 강제합니다. WebUI는 '계속(Continue)' 버튼을 누를 때 continue_final_message와 add_generation_prompt false를 전송하며, 채팅 서비스의 옵션에 일치하는 opt를 사용합니다. 순수하게 API를 정렬하는 것이며, prefill 로직 자체에는 변경이 없습니다. 이는 향후 common/chat에서 진행될 템플릿별 prefill 배관(plumbing) 작업을 위한 길을 마련합니다. test: continue_final_message vLLM 호환 플래그에 대한 커버리지 추가 기존의 assistant prefill 커버리지에 두 가지 케이스를 추가했습니다. 첫째, continue_final_message가 true이고 add_generation_prompt가 false인 경우 prefill_assistant 휴리스틱과 동일한 렌더링된 프롬프트를 생성하여, 새 플래그가 기존 경로의 올바른 별칭(alias)임을 증명합니다. 둘째, 두 플래그를 모두 true로 설정하면 vLLM/transformers의 상호 배제 계약에 따라 HTTP 400 에러로 거부됩니다. chore: webui 빌드 출력 업데이트 macOS/iOS: macOS Apple Silicon (arm64) macOS Apple Silicon (arm64, KleidiAI 활성화됨) macOS Intel (x64) iOS XCFramework Linux: Ubuntu x64 (CPU) Ubuntu arm64 (CPU) Ubuntu s390x (CPU) Ubuntu x64 (Vulkan) Ubuntu arm64 (Vulkan) Ubuntu x64 (ROCm 7.2) Ubuntu x64 (OpenVINO) Ubuntu x64 (SYCL FP32) Ubuntu x64 (SYCL FP16) Android: Android arm64 (CPU) Windows: Windows x64 (CPU) Windows arm64 (CPU) Windows x64 (CUDA 12) - CUDA 12.4 DLLs Windows x64 (CUDA 13) - CUDA 13.1 DLLs Windows x64 (Vulkan) Windows x64 (SYCL) Windows x64 (HIP) openEuler: openEuler x86 (310p) openEuler x86 (910b, ACL Graph) openEuler aarch64 (310p) openEuler aarch64 (910b, ACL Graph)
AI 자동 생성 콘텐츠
본 콘텐츠는 llama.cpp Releases의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기