DeepSeek V4.1 Flash 1017 exl3 2.9bpw의 APEX 2025 벤치마크 결과

원문 발행 2026. 11. 12. 09:50원문 언어 영어AI 한국어 번역r/LocalLLaMA 원문 보기

요약

작성자는 DeepSeek V4.1 Flash 모델의 성능을 평가하기 위해 APEX 2025 벤치마크를 사용했습니다. 이 양자화 모델은 SOTA 수준의 강력한 성능을 보여주었으며, 3090s 환경에서 전력 제한(175W) 하에 테스트 결과 약 1000 tps의 prefill과 75 tps의 decode 성능을 기록했다고 발표했습니다.

핵심 포인트

APEX 2025를 사용하여 양자화 모델의 강력한 성능을 검증함.
DeepSeek V4.1 Flash (quant)는 SOTA에 근접하는 성능을 보임.
3090s 환경에서 prefill은 약 1000 tps, decode는 75 tps를 기록함.
테스트에는 Project Maya 엔진과 특정 하드웨어 구성이 사용됨.

제 메인 AI 머신은 6개의 3090, 128GB DDR4 Threadripper 3960x 시스템입니다. 아마 실제로 사용하는 시간보다 최적화하는 데 더 많은 시간을 보내겠지만 재미있었습니다.

저는 Terminal Bench 2.1, AIME 2026과 같은 여러 포화(saturated) 벤치마크를 시도했고, 성능은 비양자화된 (unquantized) DSV4.1 Flash 1017과 유사했습니다. 저는 제가 사용하고 있는 모델의 품질에 대한 가장 많은 신호를 얻을 수 있는 완벽한 벤치마크를 찾고 싶었습니다. 이 벤치마크들 중 일부는 실행하는 데 몇 시간이 걸리기 때문에요.

저는 APEX 2025 (https://huggingface.co/datasets/MathArena/apex_2025)로 결정했습니다. 이 양자화 모델(quant)이 얼마나 강력한지 알 수 있습니다. 6개월 전의 SOTA(State-of-the-Art, 최고 수준)와 맞먹는 성능을 보여줍니다.

3090s의 전력이 175와트(watts)로 제한되었을 때, 약 1000tps의 prefill과 75tps의 decode 성능을 얻었습니다. 엔진: Project Maya (https://github.com/mw00/project-maya), 양자화 모델: https://huggingface.co/LibertAIDAI/DeepSeek-V4.1-Flash-1017-EXL3-2.9bpw

이것이 다른 사람들이 자신의 환경을 벤치마크하는 데 도움이 되기를 바랍니다. 저는 APEX 2025 벤치마크가 정말 마음에 듭니다. 제출자: /u/hp1337 [링크] [댓글]

AI 자동 생성 콘텐츠

원문 바로가기