지난 24시간 동안의 랙 성능 요약

요약

지난 24시간 동안의 랙 성능 지표를 공유하며 p95 성능 저하 문제를 언급했습니다. 이후 새로운 GPU 랙에서 DeepSeek 추론 설정을 테스트한 결과를 공개했습니다. 이 신규 랙은 현재까지 발견된 모든 공급업체 대비 우수한 가격 대비 성능을 보여주었습니다.

핵심 포인트

• 지난 24시간 동안 6.77T 토큰 처리 등 상세 성능 지표를 공유함.
• p95 성능 저하는 불안정한 트레이로 인해 발생했음이 확인됨.
• DeepSeek 추론 설정을 적용한 신규 GPU 랙 테스트를 진행함.
• 새로운 랙은 현재까지 발견된 공급업체 중 최고의 가격 대비 성능을 보임.