Qwen 3.8 flash를 12GB VRAM과 32GB RAM으로 구동하는 방법

제가 Gyro-M 실험 설정을 GitHub에 올렸습니다: https://github.com/Gitshop77/GyroStrata 원본 게시물: https://www.reddit.com/r/LocalLLM/s/4LmgejUQH4 4070 Super 12GB와 32GB RAM으로 전체 256K 컨텍스트를 구동했으며, 컨텍스트에 따라 약 950–1800 tok/s의 프리필(prefill) 속도와 30–38 tok/s의 출력 속도를 얻었습니다. 참고로 MTP와 vision은 의도적으로 비활성화했습니다. 이 기능들이 여러 테스트 과정에서 속도에 영향을 주었기 때문입니다. 만약 VRAM이 16GB라면 MTP를 사용해 볼 수도 있습니다. Strata 패치, 조정된 설정, 모델 다운로더, 설치 프로그램 및 런처가 포함되어 있습니다. MTP와 vision은 비활성화 상태입니다. 속도는 CPU, SSD, RAM 속도 및 GPU 대역폭에 크게 좌우됩니다. 제 시스템의 정확한 사양이 아니라면 저와 비슷한 결과를 기대하지 마세요. 자신의 사양에 맞게 조정할 수 있도록 Codex/Claude Code 등의 프롬프트가 포함되어 있습니다. 모든 벤치마크와 설정 세부 정보는 레포지토리에 있습니다. 빠른 속도에 대한 보장은 기대하지 마십시오. 공간이 빠듯하고, 여러 구성 요소로 이루어진 레시피를 어떻게 보내야 할지 잘 모르겠습니다. DGX Sparks 레시피에서는 메모리와 대역폭이 같기 때문에 동일한 정확한 구성을 사용할 수 있다는 것을 알고 있습니다. 마찬가지로 듀얼 3090 레시피 등도 그렇습니다. 그래서 좋은 속도를 위해 코딩 에이전트에게 프롬프트를 제공했습니다.