DeepSeek v4.1 Flash 1017을 Dwarfstar (ds4)용으로 구현

여러분, 제가 약속했던 양자화(quant)를 적용하여 새로운 비전 타워가 ds4에서 1017로 작동하도록 PR을 올린 것에 대해 후속 정보를 드립니다. (언어 모델은 이미 로드되지만, 비전 부분은 제 PR이 필요했습니다.) 저는 antirez가 원래 DS4.1 Q2에 사용했던 것과 정확히 동일한 레시피로 구축했습니다: 모든 다른 부분에는 8비트 이상을, 라우팅된 전문가(routed experts)에는 2비트를 사용하고, 여기에 원래의 FP8 engram 테이블을 결합했습니다. 이것은 원래 DS4.1에서도 잘 작동했고, 여기에서의 초기 테스트 결과도 좋아 보입니다. imatrix는 원본 체크포인트가 아닌 1017에서 구축되었습니다. 모델의 유선 백본(wired backbone)은 150GB를 약간 넘기 때문에, 거의 모든 라우팅된 전문가들이 핫 캐시(hot cache)에 유지되는 128GB 시스템의 SSD에서 스트리밍될 것이며, M5 Max에서는 최대 20tps까지 디코드 속도를 확보할 수 있습니다. 약 200GB 규모의 engram 테이블은 RAM에 유지되지 않고 필요할 때마다 SSD에서 페이징(paged)됩니다. 이 모델은 상당히 개편되었으며, 라우팅된 전문가 텐서가 약 40% 변경되고, engrams가 30% 변경되었으며, 비전 타워의 전문가 텐서가 약 50% 수정되었습니다. 모든 것으로 보아 이것이 새로운 선도적인 오픈 웨이트(open-weights) 모델인 것 같아서 제가 한번 시도해 봤습니다. 여러분도 궁금하다면 저에게 의견을 알려주세요! submitted by /u/returnity [link] [comments]