지난 주말에 진행한 실험 결과를 공유합니다. 5090은 RTX PRO 6000과 동일한 메모리 대역폭을 가지며, 둘 다 fp4 가속을 지원합니다. REAP mxfp4 이미지를 사용하면 세션당 최대 250k (평균 50k)의 KV를 담아 50개의 동시 세션을 구성할 수 있거나, non-REAP를 사용하여 약 30개를 구성할 수 있습니다. 이는 세션당 30~40 tps를 제공합니다. https://github.com/Unravl/deepseek-v4-flash-5090 이 설정을 vast에서 $2.50에 임대할 수 있습니다. 저는 주말 동안 약 $150을 지출하여 Kimi K3와 다양한 구성을 사용하여 최대 처리량을 달성하는 실험들을 진행했습니다. TensorRT가 더 많은 성능을 끌어낼 수도 있을 것 같습니다. 제출자: /u/Hodler-mane [link] [comments]