DeepSeek V4 Flash 0731을 사용하여 로컬 실행 벤치마크를 업데이트했습니다
요약
DeepSeek V4 Flash 0731 모델을 활용한 로컬 실행 벤치마크 업데이트 결과입니다. MXFP4 버전을 사용하여 높은 프리필 및 생성 속도를 기록하며 효율적인 성능을 입증했습니다.
핵심 포인트
- DeepSeek V4 Flash 0731 모델의 로컬 실행 성능 벤치마크 업데이트
- MXFP4 버전을 사용하여 프리필 1K t/s, 생성 평균 90 t/s 달성
- 역대 최고 점수를 기록하며 매우 효율적인 성능을 보여줌
- 비전(Vision) 기능이 포함되지 않은 점이 아쉬움으로 언급됨
왼쪽 상단에 있는 보라색 클러스터입니다 (좋은 구석이죠...). 저는 Bartoswski의 MXFP4 버전을 사용하고 있으며, Dspark를 통해 프리필 (prefill) 1K t/s, 생성 (gen) 평균 90 t/s로 실행 중입니다. 다양한 샘플링 파라미터 (sampling params)를 시도해 보았으니, 자세한 내용은 확인하실 수 있습니다. 역대 최고의 점수를 기록하면서도 매우 효율적입니다. 비전 (vision) 기능이 없다는 점이 아쉽네요. https://wonderrico.github.io/local_llm_benchmark/benchmark-main.html https://wonderrico.github.io/local_llm_benchmark/benchmark-detail.html /u/WonderRico가 r/LocalLLaMA에 제출함 [link] [comments]
AI 자동 생성 콘텐츠
본 콘텐츠는 r/OpenAI Codex (search)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기0