Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
DeepSeek V4.1 Flash 모델을 활용하여 프로그래밍 및 에이전트 작업을 위한 성능 테스트를 진행했습니다. 이 엔진은 26 t/s의 생성 속도와 170 t/s의 프롬프트 처리 속도를 기록하며 우수한 성능을 보였습니다. 다만, 이미지 지원 기능과 대용량 가중치 로딩 시간 등 몇 가지 제약 사항이 확인되었습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기u/lxe가 만든 https://github.com/lxe/dsx 엔진을 사용하여 프로그래밍 및 에이전트(agentic) 작업을 위한 DeepSeek-V4.1-Flash-1017-dsx-2.6bit 모델을 제작했습니다. 이 모델의 가중치(weight)를 업로드했습니다.
Config Experts KL ↓ Top-1 ↑ Perplexity ↓ FP8 / FP4 teacher FP4 0 100% 8.56 Lucebox ROCMFP 2.5 bpw 0.253 78.7% 9.78 Author's 2.03 bpw build 2.03 bpw 0.462 71.5% 11.66 This model 2.6127 bpw 0.1972 82.59% 9.3626
이 엔진은 아직 이미지(image)를 지원하지 않는 것 같습니다. HDD에서 187.6 GB의 가중치를 로드하는 데 90~110분이 걸립니다. SATA SSD를 사용하여 262,144 컨텍스트와 Engram 테이블(203 GB)로 테스트한 결과, 생성 속도는 26 t/s, 프롬프트 처리 속도는 170 t/s가 나왔습니다.
저는 https://github.com/DominikBucko/qwen38-flash-next-2x3090을 매일 사용하지만, DeepSeek V4.1 Flash로 실험해보고 있습니다. 제 하드웨어는 다음과 같습니다: 2x RTX 3090, Intel Ultra 7 270k Plus, 192 GB DDR5@5600 MHz (제출자: /u/whiteh4cker [link] [comments])