RTX 3090 한 장에서 DeepSeek-V4.1-Flash-1017 구동: Delta Inference Engine v0.93의 대규모

Delta Inference Engine에 대한 큰 업데이트입니다. 여러분이 더 많은 기능, 더 많은 벤치마크, 그리고 적은 클릭베이트를 요청하셨습니다. 제가 여기에 모든 것을 전달하기 위해 왔습니다.

요약하자면: 저는 요청된 거의 모든 것과 그 이상을 추가했습니다. Delta Inference Engine은 이제 64GB/96GB/128GB의 RAM을 지원하며 새로운 Unsloth quants를 완벽하게 지원합니다. Unsloth IQ2는 Engram 테이블에 대한 새로운 네이티브 리더와 몇 가지 영리한 CPU 커널 작업을 사용하여 여전히 41 tok/s (192 GB RAM)로 실행됩니다. 99개 질문 벤치마크에서 이전 기본 모델 대비 정답률이 52점에서 57점으로, 전체 모델의 59점에 근접했습니다. 이는 완전한 deepseek 모델 양자화(quantization)는 아니지만, 예상보다 훨씬 더 사용 가능합니다.

하드웨어 사양: RTX 3090 한 장 (24 GB), i5-13600K, 4x48 GB DDR5-5600, PCIe 4.0 NVMe, Windows, WSL 없음.

속도 측정치 (tok/s, greedy, 한 번에 하나의 채팅):
RAM UD-IQ2_XXS (2-bit), 301 GB UD-IQ1_S (1-bit), 233 GB UD-Q2_K_XL (2-bit), 335 GB UD-IQ3_XXS (3-bit), 395 GB + 기본 모델 192 GB
41 | 41.0 | 31.3 | 28.2 | 128 GB | 34.0 | 40.6 | 26.6 | 22.8 | 96 GB | 29.3 | 36.5 | 22.9 | 18.3 | 64 GB | 21.0 | 30.6 | 15.2 | 11.7

(참고: 128GB, 96GB, 64GB 행은 나머지 RAM이 잠긴 동일한 PC를 사용합니다.)

프롬프트 읽기 속도: 긴 프롬프트는 192 GB에서 최대 740 tok/s로, 128 GB에서 600 tok/s로 읽힙니다 (약 64K 토큰 기준). 짧은 프롬프트는 약 2초 만에 답변을 시작합니다.

벤치마크: 99개 어려운 질문, greedy 모드, 43K 토큰 예산:

UD-IQ2_XXS는 전체 API와 2점 이내의 점수 차이를 보이며, 동일한 속도로 실행하는 동안 어떤 세트에서도 ds4 Q2보다 낮은 점수를 기록하지 않으면서도 총 토큰 사용량은 11% 적었습니다.

다음 토큰에 대한 DeepSeek의 API와의 일치율은 다음과 같습니다(기본 설정 기준): 모델 | 일반 텍스트 | 코드 및 수학 | 에이전틱
UD-IQ2_XXS | 91.1% | 94.5% | 95.9%
ds4 Q2 | 89.9% | 93.1% | 95.1%
UD-Q2_K_XL | 92.5% | 95.3% | 97.0%
UD-IQ3_XXS | 92.7% | 95.9% | 97.4%
UD-IQ1_S | 89.1% | 91.5% | 95.3%
참고로, 제가 테스트한 결과 전체 모델의 두 호스트는 각각 98.3%와 98.9%의 일치율을 보였습니다. 이 기준으로 볼 때 Unsloth IQ2는 이전 ds4 Q2보다 전체 모델에 약 20% 더 가깝습니다.
더 나은 품질을 원한다면: UD-Q2_K_XL (335 GB)은 192 GB에서 31 tok/s, 128 GB에서 26.6 tok/s로 작동하며 일치율은 각각 92.5% / 95.3%입니다. UD-IQ3_XXS (기본값 포함 395 GB)는 92.7% / 95.9%의 일치율로 28 tok/s와 22.8 tok/s를 기록합니다.
지난번 대비 변경된 사항: 첫 토큰 생성 속도가 약 40% 빨라졌습니다. 약 180 토큰 길이의 프롬프트가 기존 약 3.8초에서 2.3초로 단축되었습니다. 에이전트(Agent) 턴 읽기 속도가 약 12% 빨라졌으며, 저비트 모델들이 약간 잘못 작성했던 도구 호출(tool calls)도 이제는 도구 호출로 인식됩니다. Unsloth 양자화(quants)가 최대 속도로 작동합니다: 엔진이 Engram 테이블을 직접 읽습니다. 64 GB와 96 GB는 실제 옵션입니다: SSD 미리 읽기(+22% 개선, 64 GB 기준), 더 큰 전문가 메모리, 파일 순서대로 프롬프트 읽기(저용량 RAM에서 1820% 빠름)가 가능합니다. 128 GB의 경우: ds4 Q2는 33 tok/s에서 36 tok/s로 향상되었습니다. 기본 샘플링(Default sampling): 드래프터(drafter)가 이제 자신의 초안도 샘플링하여, 기본 설정에서 약 +3.5% 개선되었습니다. 첫 실행 시 사용자의 RAM에 적합한 모델을 보여주며, 다른 모델이나 자체 모델을 선택할 수 있습니다. 채팅 페이지의 'Setup' 탭에서는 모델, 속도 대 품질, 그리고 두 번째 GPU를 변경할 수 있습니다. 공개 CI: 릴리스 zip 파일은 이제 GitHub Actions으로 빌드되므로 각 파일이 어떻게 만들어졌는지 확인할 수 있습니다. EXL3: 2.5 bpw가 메뉴에 추가되었고 GPU 커널(kernel) 속도가 약 2배 빨라졌습니다. 제 테스트에서는 UD-Q2_K_XL이 더 빠르고 API와 가깝게 작동했기 때문에 여전히 이 모델을 추천합니다. 기본 다중 GPU: 3060 + 3090 조합으로 7% 성능 향상을 얻었습니다. 34개 이상의 GPU로는 잘 확장되지 않으므로, 해당 빌드는 Project Maya를 사용하십시오.
수정 사항(Fixes): 컨텍스트 길이가 65,535 토큰을 초과하는 경우, 산문 내의 </think> 태그가 추론을 끝내지 않는 문제, 가장 큰 파일에서 Out-of-Memory 오류가 발생하는 문제 해결, 실패한 이미지 인코더가 모델 작동을 중단시키지 않게 된 점, 일시 정지 후 프롬프트 속도가 빨라지는 등 다수의 개선 사항이 포함되었습니다.

사용자 지정 모델 선택 지원: 커스텀 모델 폴더에 추가하고 웹 UI에서 선택하기만 하면 됩니다.

요구 사항:
OS: Windows 10 또는 11
GPU: VRAM 12GB 이상을 갖춘 NVIDIA RTX (드라이버 580 이상). 24GB가 빠른 경로이며, AMD GPU는 아직 지원되지 않습니다.
RAM: 64GB 이상, 128GB+ 권장
디스크: 모델용으로 233-395GB의 빠른 NVMe SSD (UD-IQ3_XXS도 기본 모델이 필요함)
CPU: 모든 x86-64 CPU (Intel 또는 AMD). AVX2가 빠른 경로입니다.

이 모든 것은 하나의 PC로 구성됩니다. 다른 하드웨어에서도 테스트가 필요합니다.
레포지토리(Repo): https://github.com/musicurgy/delta-inference-engine MIT 라이선스. 이는 Strata를 기반으로 구축된 Xolotl의 Windows 포트입니다. 모델은 DeepSeek에, 양자화(quants)는 Unsloth, nazeshinjite 및 ISTA-DASLab에 감사드리며, 많은 도움을 준 Xolotl 및 Project Maya 커뮤니티에도 감사를 표합니다. Claude가 코드 대부분을 작성했고 제가 프로젝트를 실행했습니다. 사용해 보신다면 GPU, RAM, 모델, 그리고 tok/s(초당 토큰 수)를 좋든 나쁘든 게시해 주세요.
제출자: /u/musicurgy [링크] [댓글]