2x GH200을 위한 최적화된 DSv4-Flash: SGLang에서 10,000 tok/s PP 및 >300 tok/s TG 달성

요약

GH200 듀얼 시스템 환경에서 DSv4-Flash 모델의 추론 성능을 극대화하는 최적화 방법을 소개합니다. vLLM과 SGLang을 활용하여 매우 긴 컨텍스트에서도 높은 Prefill 및 Decode 속도를 달성하는 구체적인 설정과 트릭을 다룹니다.

핵심 포인트

• GH200 환경에서 vLLM 소스 빌드 및 특정 캐시 레이아웃 패치 적용
• 비동기 스케줄링 비활성화 및 DSpark 설정을 통한 성능 최적화
• SGLang 사용 시 ARM64 빌드 및 버그 수정을 통해 높은 디코드 속도 달성
• 1M 컨텍스트 구현 시에도 효율적인 HBM 메모리 관리 및 속도 유지