server: 스트리밍 엔드포인트에 "X-Accel-Buffering": "no" 헤더 추가 ([#24774](https://github.com
요약
llama.cpp의 서버 엔드포인트에 'X-Accel-Buffering: no' 헤더를 추가하여 Nginx 리버스 프록시의 응답 버퍼링 문제를 해결했습니다. 이를 통해 스트리밍 응답이 끊기지 않고 원활하게 전달되도록 개선되었습니다.
핵심 포인트
- Nginx가 응답을 버퍼링하지 않도록 지시하는 헤더 추가
- 스트리밍 엔드포인트에서 데이터 끊김 현상 방지
- macOS, iOS, Linux 등 다양한 플랫폼용 바이너리 업데이트
server: 스트리밍 엔드포인트에 "X-Accel-Buffering": "no" 헤더 추가 (#24774)
- server: 스트리밍 엔드포인트에 "X-Accel-Buffering": "no" 헤더 추가
이 헤더는 Nginx(리버스 프록시로서)가 응답을 버퍼링(buffering)하지 않도록 지시합니다. (스트리밍 엔드포인트에만 영향을 미침)
이 헤더가 없으면, Nginx는 특정 애플리케이션(특히 Pi coding harness)에서 스트리밍을 끊기게 만듭니다.
macOS/iOS:
- macOS Apple Silicon (arm64)
- macOS Apple Silicon (arm64, KleidiAI 활성화) 비활성화됨
- macOS Intel (x64)
- iOS XCFramework
Linux:
Android:
Windows:
- Windows x64 (CPU)
- Windows arm64 (CPU)
- Windows x64 (CUDA 12) - CUDA 12.4 DLLs
- Windows x64 (CUDA 13) - CUDA 13.3 DLLs
- Windows x64 (Vulkan)
- Windows x64 (OpenVINO)
- Windows x64 (SYCL)
- Windows x64 (HIP)
openEuler:
- DISABLED
- openEuler x86 (310p)
- openEuler x86 (910b, ACL Graph)
- openEuler aarch64 (310p)
- openEuler aarch64 (910b, ACL Graph)
UI:
AI 자동 생성 콘텐츠
본 콘텐츠는 llama.cpp Releases의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기