DeepSeek V4.1 Flash 1017 지원을 위한 PR (PR #1225)

dwarfstar에 Deepseek-v4.1-Flash-1017의 새로운 engrams 및 업데이트된 vision tower를 지원하는 PR을 방금 푸시했습니다. 이 PR은 기본적으로 파일 리비전 호환성을 추가하고, vision+language 모델 파일 조합이 일치하는지 확인하여 혼합 쌍에 대해 경고를 발생시킵니다. ds4 양자화 스위트(quantization suite)로 양자화된 모든 파일은 특별한 변경 없이 로드되며, 이전 체크포인트에 대한 회귀(regressions)는 야기하지 않습니다. 이것은 주요 개정으로, 라우팅된 전문가 텐서(routed expert tensors)의 약 40%가 변경되었고, engrams에서 30%, vision tower의 전문가 텐서의 약 50%가 변경되었습니다. 아키텍처는 동일하게 유지되므로, PR에 구현되면 핵심 코드를 수정할 필요 없이 기존 커널(kernels)에 바로 장착됩니다. 곧 128GB 용량에 대해 사소한 SSD 오프로딩을 적용한 Q2-Q8 혼합 양자화 버전을 업로드할 예정이며 (이전 체크포인트에 대한 antirez의 레시피를 따라, 유선으로 152GB, engrams 포함 총 366GB), 준비되면 스레드를 작성하겠습니다. M5 Max에서 약 20tps로 디코딩될 것입니다. /u/returnity가 제출했습니다 [link] [comments]