이것은 제가 6코어 CPU와 16GB VRAM을 사용하여 과학적 탐구를 위해 CPU 생성 (CPU generation) 방식으로 98GB 모델을 테스트하는 데 사용 중인 미친 가성비 시스템입니다. 이번 주에 98GB의 VRAM 요구 사양을 가진 DeepSeek-V4-Flash-UD-Q2_K_XL 모델의 속도가 2t/s에서 7t/s로 향상되었습니다. b9986에서 b10034 사이의 어느 지점에서 llama.cpp 개발자들이 무언가 대단한 것을 만들어내고 있는 것 같습니다. [tequila ~]$ echo "=== Tequila Hardware ===" && \ echo "CPU: $(lscpu | grep 'Model name' | awk -F: '{print $2}' | xargs) ($(nproc) cores)" && \ echo "RAM: $(free -h | awk '/Mem:/ {print $2}') @ $(sudo dmidecode --type memory | grep -m1 'Speed:' | awk '{print $2 $3}')" && \ echo "GPU: $(nvidia-smi --query-gpu=name,memory.total --format=csv,noheader,nounits | sed 's/ /_/g' | tr '\n' ' ')" && \ echo "======================================" === Tequila Hardware === CPU: AMD Ryzen 5 9600X 6-Core Processor (12 cores) RAM: 138Gi @ 5600MT/s GPU: NVIDIA_GeForce_RTX_4060_Ti,_16380 ====================================== [59223] 27.20.618.933 I slot print_timing: id 0 | task 0 | n_decoded = 11964, tg = 7.44 t/s, tg_3s = 7.40 t/s [59223] 27.23.723.257 I slot print_timing: id 0 | task 0 | n_decoded = 11987, tg = 7.44 t/s, tg_3s = 7.41 t/s [59223] 27.25.478.347 I slot print_timing: id 0 | task 0 | prompt eval time = 918.60 ms / 14 tokens ( 65.61 ms per token, 15.24 tokens per second) [59223] 27.25.478.350 I slot print_timing: id 0 | task 0 | eval time = 1611853.65 ms / 12000 tokens ( 134.32 ms per token, 7.44 tokens per second) [59223] 27.25.478.351 I slot print_timing: id 0 | task 0 | total time = 1612772.24 ms / 12014 tokens [59223] 27.25.478.362 I slot print_timing: id 0 | task 0 | graphs reused = 11802 [59223] 27.25.478.400 I slot release: id 0 | task 0 | stop processing: n_tokens = 12013, truncated = 0 CPU 생성 방식이 더 큰 모델들을 사용하기에 실용적인 수준에 가까워지고 있다는 사실이 여전히 놀랍습니다. # fat_models.ini [*] ctx-checkpoints = -1 mmap = false flash-attn = on threads = 16 threads-batch = 20 cache-ram = 2048 parallel = 1 batch-size = 2048 ubatch-size = 1024 jinja = true

reasoning = on reasoning-budget = 1000 metrics = true load-on-startup = false [DSV4-Q2-fat-1tequila] hf-repo = unsloth/DeepSeek-V4-Flash-GGUF hf-file = UD-Q2_K_XL/DeepSeek-V4-Flash-UD-Q2_K_XL-00001-of-00003.gguf split-mode = layer ctx-size = 131072 ;n-gpu-layers = 99 cache-ram = 131072 submitted by /u/Chuyito [link] [comments]