b11552: 서버가 요청이 바쁜 슬롯을 건드리지 않도록 수정 (#30295)
요약
서버가 처리 중인(바쁜) ID 슬롯을 건드리는 과정에서 프롬프트 캐시 업데이트 지연 및 잘못된 컨텍스트 로딩 문제가 발생했습니다. 수정된 버전에서는 바쁜 슬롯을 그대로 반환하고 요청이 이를 기다리도록 하여, 데이터 일관성과 안정성을 높였습니다.
핵심 포인트
- 바쁜 ID 슬롯 접근 시 캐시 업데이트 지연 문제 해결
- 잘못된 컨텍스트 로딩으로 인한 오류 방지
- 요청이 바쁜 슬롯을 기다리도록 처리 흐름 개선
바쁜 id_slot을 요청한 경우, 해당 슬롯에서 프롬프트 캐시 업데이트를 수행한 후 지연되었습니다. RAM 캐시에 더 좋은 일치가 있었을 때, 다른 요청이 여전히 그곳에서 생성되고 있는 동안 해당 슬롯에 로드되었고, 이로 인해 생성이 잘못된 컨텍스트에서 계속되었습니다.
이제 바쁜 슬롯은 그대로 반환되며 요청은 이를 기다립니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 llama.cpp Releases의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기0