server + ui: 1초마다 silent SSE 스트림에 ping을 보내고 3초 후에만 연결을 끊어, 느린 prefill (prefill)
요약
llama.cpp의 서버 및 UI에서 느린 prefill 과정 중 연결이 끊기지 않도록 SSE(Server-Sent Events) 핑 메커니즘을 개선했습니다. 1초마다 핑을 보내고 3초 후 연결을 유지하도록 설정하여 안정적인 스트리밍을 지원합니다.
핵심 포인트
- SSE 핑 주기를 요청 본문 필드로 이동하여 유연성 확보
- 느린 prefill 단계에서도 연결 유지를 위한 3초 타임아웃 관리
- 요청 스키마를 통한 sse_ping_interval의 타입 및 범위 검증 자동화
- macOS, iOS, Linux 등 다양한 플랫폼용 바이너리 업데이트
AI 자동 생성 콘텐츠
본 콘텐츠는 llama.cpp Releases의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기