Redis 개발자 제작; ds4로 LLM을 로컬에서 실행

CORE 01

비대칭 2-bit 양자화 (Asymmetric 2-bit quantization)

라우팅된 전문가(routed experts)를 압축하고, 중요한 공유 경로(critical shared paths)는 정밀하게 유지합니다. 이것이 지원되는 라우팅형 MoE 빌드가 대상 기기에 맞는 방식입니다.

DS4 · 로컬 프론티어 추론 (LOCAL FRONTIER INFERENCE)

DwarfStar 4는 고용량 메모리 Mac, CUDA 및 ROCm 장치용 좁은 C 추론 엔진(narrow C inference engine)입니다. DeepSeek V4와 V4.1 Flash, GLM 5.x 및 Qwen3.8 Flash Next를 지원하며, 텍스트 및 비전 모델, 로컬 API, CLI, 네이티브 에이전트를 하나의 스택으로 제공합니다.

지원 모델: DEEPSEEK V4 / V4.1 + GLM 5.x + QWEN3.8 · MIT 라이선스 · C / METAL / CUDA / ROCM · 64GB에서 작동하는 Qwen

원리 (PRINCIPLE) · 로컬 모델 스택 (LOCAL MODEL STACK)

PHASE 1 · 거대 모델 (THE GIANT)
DeepSeek V4 Flash는 대규모 전문가 혼합 모델(mixture-of-experts model)입니다. 일반적인 경로는 원격 서비스(remote serving)이지만, ds4는 그 반대의 제약 조건에서 시작합니다.

PHASE 2 · 축소 (THE COLLAPSE)
비대칭 양자화는 라우팅된 전문가를 대상으로 하면서도 중요한 경로를 보존합니다. 이로써 모델이 고용량 메모리 장치에서 실용적으로 작동하게 됩니다.

SCROLL ▾

CORE 01

라우팅된 전문가를 압축하고, 중요한 공유 경로는 정밀하게 유지합니다. 이것이 지원되는 라우팅형 MoE 빌드가 대상 기기에 맞는 방식입니다.

CORE 02

긴 접두사(long prefixes)는 SSD에 저장하고 프롬프트 해시(prompt hash)로 재개할 수 있습니다. 재시작 시 전체 리-프리필(re-prefill)이 필요하지 않습니다.

CORE 03

채팅에는 ./ds4를, 로컬 API에는 ./ds4-server를, 영구적인 코딩 세션에는 ./ds4-agent를 사용합니다.

STEP 1 · 가중치 가져오기 (FETCH THE WEIGHTS)
STEP 2 · 백엔드용 빌드 (BUILD FOR YOUR BACKEND)
STEP 3 · 사용하기 (TALK TO IT)

✓ 잘 작동함

V4 Flash Q2가 기준입니다. 128 GB에서는 GLM 5.3 Q2와 Qwen Q4도 적합하며, V4.1 Q2는 SSD에서 스트리밍됩니다.

./download_model.sh ds4f-q2 && make

참고 (REF) · M5 Max 128GB · 32K CTX: 34.4 T/S 생성(GEN) · 557 T/S 프리필(PREFILL)

ds4 벤치마크 표에서 추정된 값입니다. 전체 가이드는 하드웨어 및 설치 섹션에서 확인하세요.