Hopper 시스템에서 DeepSeek v4 Flash로 초당 약 200 토큰(tok/s)을 달성하는 몇 가지 팁

요약

Hopper 시스템에서 DeepSeek v4 Flash 모델을 사용하여 초당 약 200 토큰의 속도를 달성하는 최적화 방법을 소개합니다. vLLM의 MTP 코드를 패치하고 Canada-Quant의 양자화 모델을 활용하여 효율성을 높였습니다.

핵심 포인트

• vLLM에서 4개 스레드 실행 시 최대 400 tok/s 달성 가능
• Canada-Quant 양자화 모델 사용을 통한 최적화
• vLLM의 MTP 코드 패치를 통한 성능 향상
• Hopper 시스템 환경에서 약 193 tok/s 구현