GB10 DGX Spark 2대에 배포된 DeepSeek V4.1 Flash 모델 정보
요약
본 시스템은 GB10 DGX Spark 2대를 기반으로 구축되었으며, DeepSeek V4.1 Flash 모델을 구동합니다. 이 모델은 EXL3 mul1에서 평균 2.9 bpw의 추론 성능을 보이며, 총 196 GiB 크기로 39개 샤드에 걸쳐 배포됩니다.
핵심 포인트
- DeepSeek V4.1 Flash 모델이 GB10 DGX Spark 2대에 배포됨.
- 추론 성능은 EXL3 mul1에서 평균 2.9 bpw를 기록함.
- vLLM을 사용하여 TP=2로 구동되며, OpenAI 인터페이스가 제공됨.
이 시스템은 GB10 DGX Spark 2대를 위해 준비되었습니다. DeepSeek V4.1 Flash는 EXL3 mul1에서 평균 2.9bpw로 추론되었으며, 39개 샤드(shard)에 걸쳐 총 196 GiB의 크기를 가집니다. TP=2를 사용하여 vLLM으로 구동되며, 8888 포트에 OpenAI 인터페이스가 연결되어 있고, 모델명은 DeepSeek-v4.1-Flash-EXL3입니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 X @qingq77 (검증됨)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기0