Xolotl (Strata 기반)을 이용한 DeepSeek-V4.1-Flash (552B) 구동 성능 공유

안녕하세요, 오랫동안 이 글을 올리고 싶었습니다. 저는 Strata를 기반으로 한 추론 엔진인 Xolotl을 구축하여, 그 안에 있는 DeepSeek-V4.1-Flash 전체 552B 모델을 하나의 게이밍 PC에서 구동하고 있습니다. 제 장비는 RTX 4090 (24GB) 단일 카드, Ryzen 7 5700X, DDR4 메모리 90GB, 그리고 NVMe 드라이브로 구성되어 있어 특별할 것 없습니다. 가중치(weights)들은 VRAM, 고정 RAM(pinned RAM), NVMe에 걸쳐 분산되며, 엔진은 토큰이 실제로 필요로 하는 전문가(experts)들을 가져와 사용합니다.

제가 이 장비에서 얻는 성능은 다음과 같습니다: 디코드 시 27 tok/s, 프리필(prefill) 시 180-320 tok/s (512K 컨텍스트), HumanEval 21/21 달성, 도구 호출(tool calls) 10/10 달성, 에이전트적 버그 수정 루프(agentic bug-fix loops) 3/3 달성입니다. 이 모든 것은 실제 서버 환경에서 사고 과정을 거쳐 이루어진 결과입니다. 또한 같은 엔진으로 GLM-5.3-Flash, Qwen3.8-Flash-Next, 그리고 Qwen3.8-27B도 구동할 수 있습니다.

GitHub: https://github.com/Indras-Mirror/Xolotl
제가 현재 사용하고 있는 양자화(quant) 모델 (비검열 V4.1, 152 GiB)은 여기에서 다운로드 가능합니다: https://huggingface.co/IndrasMirror/DeepSeek-V4.1-Flash-GSQ-Uncensored

1017 업데이트에 관하여 말씀드리자면: 현재 DeepSeek-V4.1-Flash-1017을 다운로드하고 있습니다. 인터넷 연결 상태가 좋지 않아 느리게 진행되고 있으며, 용량이 510GB라 시간이 걸립니다. 다운로드가 완료되면 이를 완전히 분해(abliterate)하여 Xolotl용으로 양자화할 예정입니다. 아키텍처와 설정은 V4.1과 동일합니다 (확인 결과, 토크나이저 및 설정 모두 동일). 따라서 현재 모델과 비슷한 처리량으로 구동될 것으로 예상됩니다. 다만 가중치(weights)가 모두 다르기 때문에, 간단한 패치가 아니라 전체적인 보정(calibration) 및 양자화 재실행이 필요합니다. 며칠 안에 모든 것을 준비할 수 있기를 바라며, 몇 분들이 문의를 주셔서 미리 정보를 공유드립니다. 그동안 궁금한 점은 언제든지 질문해 주세요.

/u/indrasmirror 작성