Deepseek V4 Flash-0731: 8x 5090에서 $2.5/시간으로 2000+ tps 달성

요약

RTX 5090 8장을 활용하여 Deepseek V4 Flash 모델에서 시간당 2.5달러의 비용으로 2000+ TPS를 달성한 실험 결과입니다. REAP mxfp4 이미지를 통해 높은 KV 캐시 효율을 확보하고 다수의 동시 세션을 구성하는 최적화 방법을 다룹니다.

핵심 포인트

• RTX 5090 8장 구성 시 시간당 $2.5로 2000+ TPS 달성
• REAP mxfp4 사용 시 세션당 최대 250k KV 캐시 확보 가능
• 50개의 동시 세션 구성 시 세션당 30~40 TPS 제공
• TensorRT 도입 시 추가적인 성능 향상 가능성 시사