제 글에는 사용할 수 있는 몇 가지 PR(Pull Request)과 매우 긴 컨텍스트(context)에서 PP(Prefill) 속도를 높이는 좋은 트릭이 포함되어 있습니다. 도움이 되길 바랍니다! 요약하자면: 이 듀얼 GH200 박스에서 vLLM v0.26.0을 소스에서 빌드하고, 병합된 DSV4 캐시 레이아웃 패치(PR #48993)를 추가하며, 비동기 스케줄링(async scheduling)을 비활성화한 뒤, DSpark를 6개의 예측 토큰(predicted tokens)에서 실행하면 다음과 같은 성능을 얻을 수 있습니다: 약 276 decode tok/s 및 192 GB의 HBM에서 1M 컨텍스트 구현. SGLang의 경우, ARM64에서 빌드되고 DSpark 로더 버그가 수정되면 모든 디코드(decode) 워크로드에서 더 빠르며 약 317.0 tok/s에 도달합니다. /u/Reddactor에 의해 제출됨 [link] [comments]