Qwen의 거대 모델을 게이밍 PC에서 구동하기

서론

안녕하세요, Keito입니다. 이번에는 그래픽카드 가격 상승에도 기여하고 있는 로컬 LLM에 대해 글을 쓰겠습니다. 제목에서 알 수 있듯이, 서버급에서만 구동 가능했던 거대 모델을 게이밍 PC 수준에서 구동할 수 있게 해주는 추론 엔진을 중심으로 소개하겠습니다.

소개하는 모델

이번에는 두 가지 모델을 소개합니다. 첫 번째는 125B의 거대한 LLM인 Qwen3.8 Flash Next입니다. 이를 가정용 게이밍 PC에서 구동할 수 있는 추론 엔진이 있어, 이와 함께 소개하겠습니다. 두 번째는 Qwen3.8 27B GSQ-RCO입니다. 끝에 주문(呪文)이 붙어 있지만, 이것이 최적화의 핵심입니다.

벤치마크 상에서의 성능

Qwen3.8 Flash Next는 일부 벤치마크에서 Claude Opus 4.8이나 GPT6-Luna를 능가하는 기록을 세운 고성능 모델입니다. Qwen3.8 27B 역시 arena.ai의 벤치마크에 따르면 Gemini 3.7 Flash나 Claude Sonnet 5를 초과합니다. 이렇게 성능이 높은 모델을 손안의 PC에서 구동할 수 있게 되었습니다.

로컬 구동의 장점과 허들(장벽)

이렇게 들으면 기기만 바꾸면 좋겠다는 생각이 들 수도 있지만, AI를 사용하는 편리함 자체가 다릅니다. 대형 AI는 계정만 만들면 브라우저나 앱에서 쉽게 접근할 수 있습니다. 반면, 로컬 모델을 구동하는 경우에는 데스크톱 PC가 거의 필수적이어서 진입 장벽이 높은 편입니다.

게다가 자체 PC로 구동하려면 ChatGPT나 Claude 등과 비교했을 때 한 단계의 과정이 필요합니다. 컨텍스트(context)를 고려해야 합니다. 즉, 책상 위에 펼쳐 놓을 수 있는 자료의 양 같은 것입니다. 컴퓨터의 계산 자원은 한정되어 있기 때문에, 그 안에서 어느 정도까지 허용할지에 따라 쾌적도가 달라집니다.

하지만 일단 구동해 보면, 대부분의 사람들은 이것으로 만족할 만한 수준의 성능이 있다고 생각합니다. PC 성능에 따라 출력 시간이 걸릴 수는 있지만, 소형 모델과 대형 모델을 적절히 사용하며 전환하는 것도 좋은 방법입니다.

무엇보다 로컬 모델은 SSD가 고장나지 않는 한 좋아하는 모델을 계속 사용할 수 있습니다. 자신의 PC에서 구동하기 때문에 토큰 제한에 걸릴 염려도 없고, PC가 고장나지 않는 한 무한정 사용할 수 있습니다. 이것이 바로 자체 PC로 구동할 수 있는 장점 중 하나입니다.

Strata로 Qwen3.8 Flash Next를 구동하기

첫 번째 모델부터 시작하겠습니다.

Strata란?

Qwen3.8 Flash Next는 일반적인 방식으로 설치할 경우 VRAM이 80GB에서 200GB가 필요하여, 일반인이 감당하기 어려운 모델입니다. 그런데 최근 공개된 AI 추론 엔진인 Strata를 사용하면 진입 장벽이 급격히 낮아져 VRAM 12GB부터 구동할 수 있게 됩니다. 다만, 메인 메모리는 64GB가 필요합니다.

추신: 아무래도 메인 메모리 32GB 사용자나 VRAM이 8GB밖에 없는 사용자도 구동할 수 있게 된 것 같습니다. 아직 검증하지는 못했지만, 기존 기준에 걸려 사용하지 못했던 분들은 이 기회에 시도해 보세요! 어쩌면 코딩에 특화된 모델일 수도 있습니다.

이렇게 해서, 이번에는 Strata를 사용하여 거대 모델을 구동해 보겠습니다.

참고로 일반적인 설치 방식의 모델 링크를 첨부합니다↓(이번에는 사용하지 않습니다)

도입 방법

Windows에서 NVIDIA 그래픽카드를 가진 사람이 대상입니다.

먼저 초보자를 위한 시작 방법을 정리하겠습니다. Claude Code나 Codex 같은 AI 에이전트로 다음 프롬프트를 실행하세요.

Set up Strata on this PC for me: https://github.com/Niko1221/Strata - follow docs/AI_SETUP.md in that repository.

만족스럽지 않다면, Pi나 OpenCode로 사용해 보세요. 설정은 나중에 쓰겠습니다. 이상입니다!

직접 설치할 경우에는 다음 리포지토리를 클론하거나 README에서 프로젝트를 다운로드합니다.

START-HERE.bat을 실행하면 셋업 가이드가 열리므로, 지침에 따라 도입하면 구동할 수 있습니다. README에 자세히 적혀 있으니, 그것을 참고해 주세요.

구동 결과

4가지 모델 크기가 있는데, 저는 IQ2_XS로 구동했습니다. 참고로 구동한 PC를 소개합니다.

CPU: Ryzen 5 5600X

GPU: RTX 3060 12GB

RAM: 96GB

이 PC의 경우, 처음에는 생성 속도가 30~40 tok/s가 나왔습니다. 최적화된 추론 엔진은 추론 속도가 매우 빠릅니다. llama.cpp로 큰 MoE 모델을 구동하는 것보다 빨라서 놀랐습니다.

그 후 업데이트를 했더니, 50 tok/s까지 올라갔습니다. 다만, 한동안 작동시키다 보니 10 tok/s까지 떨어져서, 뭔가 설정이 잘못된 건가 생각했습니다. 로컬 모델을 구동하는 것은 만만치 않은 것 같습니다.

그래서 캘리브레이션(calibration)을 진행했더니, 안정적으로 60 tok/s가 나오게 되었습니다. 대단합니다. 컨디션이 좋을 때는 70 tok/s까지 늘어납니다. 캘리브레이션은 사용자의 PC 성능에 맞춰 설정을 자동으로 최적화해 주는 기능으로, 모델을 넣거나 설정을 변경할 때 제안해 줍니다. 프리필(prefill)이라는 사전 로딩에서는 1000 tok/s가 나옵니다. 무슨 의미인지 모르겠습니다. 이 경험을 통해 최적화의 중요성을 몸소 깨달았습니다.

프리필이 1000 tok/s 초과!

메인 메모리는 35GB 전후를 사용하므로, 역시 64GB 이상 장착하지 않으면 어려울 것 같습니다.

이 이미지는 조금 전의 것이라 오래되었습니다. Pi라는 하네스(harness)를 사용해서 구동했을 때의 모습인데, 이것으로 보아 IQ2_XS 양자화 버전은 메모리에 여유가 있습니다. 다만, 당시에는 생성 속도가 30 tok/s였고, 이보다 느려지면 대기 시간이 길어질 것 같아서 고민스러웠습니다.

성능 면에서도 부족함이 없습니다. 9B급과는 비교할 수 없을 정도로 사용하기 쉽고, 일본어나 코딩도 일상적으로 사용할 수 있는 수준입니다. 영어-일본어 번역에도 쓸 수 있습니다. 샘플을 넣으려고 생각했지만, 놀라움만 가득해서 끝날 것 같으니, 각자 구동해 보면서 테스트해 보세요.

Brave Search API와 결합하면 최신 정보를 인터넷에서 가져다주기 때문에 매우 편리합니다. 이 모델은 도구 사용법이 능숙해서 정확도도 높습니다. 일주일 정도 사용했는데, Claude에 버금갈 정도로 눈치가 빠릅니다. 여행 숙소를 찾을 때, 차로 간다고만 말해도 고속도로 통행료 계산까지 조사해 줍니다. 아무튼 검색 도구 사용법이 능숙하고, 최신 정보를 정확하게 조사하여 제시하는 능력이 높습니다.

다만, 가끔 중국어가 섞여 나오는 등 이상해지는 때도 있습니다. PC 사양에 여유가 있는 분들은 꼭 3비트 양자화의 IQ3_S를 사용해 보세요.

3비트 양자화 버전과의 비교 (IQ3_S)

덤으로, 제 PC는 저장 공간이 적어서, 먼저 필요 없는 도구를 삭제한 후 3비트 양자화 모델을 넣어봤습니다.

모델을 로드해서 테스트해보니, 2비트 양자화에서 나왔던 중국어 혼입 현상이 거의 사라졌고, 루프 생성도 줄어든 것 같습니다. 생성 속도도 체감상으로는 거의 변하지 않았습니다.

수치로 비교하자면, 생성 속도는 IQ2_XS가 3944 tok/s였던 것에 비해, IQ3_S는 2837 tok/s로 2~3할 정도 느려졌습니다. 프리필도 1000 tok/s에서 790 tok/s까지 느려져서, 여기에서도 약 2할 감소했습니다. 캐시 히트(cache hit)는 Pi 하네스에서의 검증인데, 약 4040 슬롯 대비 약 2350 슬롯으로, 비율로 따지면 약 7할에서 약 5할 정도로 줄었습니다.

조금 기술적인 이야기를 하자면, 속도가 느려지는 데에는 이유가 있습니다. IQ3_S는 익스퍼트(expert)가 약 1.4배 더 크기 때문에, 같은 12GB의 VRAM에 올라갈 수 있는 개수가 4할 정도 줄어듭니다. 올라가지 못한 부분은 CPU가 계산하기 때문에, 그 차이가 속도에 나타나고 있습니다. 다만, 이 정도로 끝난 것은 캘리브레이션 덕분이라고 생각합니다.

마지막으로 메모리 사용량인데, IQ2_XS는 35GB 전후, IQ3_S는 50GB 전후를 소비합니다. 브라우저나 OS 분 등을 포함하면, 총합으로 IQ2_XS는 50GB 전후, IQ3_S는 65GB 전후가 됩니다. 따라서, 2비트 양자화 모델은 메모리 64GB 사용자에게 적합하고, 그 이상 장착한 사용자는 3비트 양자화 모델을 구동할 수 있습니다. 다만, VRAM이 12GB인 PC의 경우이므로, 어디까지나 예시입니다. 관심 있다면 한번 시도해 보세요. 여기까지 와서 설마 했는데, 메모리를 96GB 장착한 이점을 살릴 수 있었습니다.

40 tok/s 가까이 나오고, 메인 메모리도 64GB면 불안했을지도

에이전트 활용

놀랍게도 이 모델 또는 추론 엔진은 평소에 사용하는 AI 에이전트(하네스)와 결합해서 사용할 수도 있습니다. 예를 들어 OpenCode나 Pi, deepseek harness 등입니다.

OpenCode의 경우, config 내의 opencode.json에 다음 내용을 넣어주세요. 이 설정 파일은 AI가 생성한 것이므로 작동하지 않을 수도 있습니다. 저는 Pi를 사용하고 있어 검증되지 않았습니다.

{
"$schema": "https://opencode.ai/config.json",
"provider": {
...

Pi의 경우, agent 폴더의 models.json에 다음과 같이 설정해 주세요.

{
"providers": {
"llama-cpp": {
...

로컬 모델에서 검색 기능을 사용하고 싶다면, 앞서 말씀드린 Brave Search API를 사용하는 것이 좋습니다. 최신 정보를 높은 정확도로 가져와 줍니다.

주의할 점은 추론 처리는 한 요청에 대해서만 가능하다는 것입니다. 멀티 에이전트를 구동하여 처리하는 것은 불가능합니다. 만약 그렇게 하고 싶다면, 로컬 모델 대신 AI 서비스에 비용을 지불해야 합니다.

Qwen3.8 27B GSQ-RCO를 llama.cpp로 구동하기

두 번째로 넘어가겠습니다. Qwen3.8 27B GSQ-RCO를 구동해 보겠습니다.

GSQ-RCO란?

기본 모델은 Qwen/Qwen3.8-27B입니다. 이를 GSQ-RCO라는 특수한 방식으로 양자화(quantization)함으로써, 정확도는 거의 유지하면서 메모리 사용량을 대폭 줄인 모델이 됩니다. GSQ-RCO의 정식 명칭은 다음과 같습니다.

Gumbel-softmax quantization (감마벨 소프트맥스 양자화)
Riemannian constrained optimization (리만 다양체상의 제약 최적화)

간단히 조사해 본 바로는, 모델 가중치(weights)를 반올림하거나 분배하는 것을 최적화하여 정확도 저하를 억제하면서 용량을 줄인 것이라고 합니다. 자세한 내용은 적지 않겠습니다. 궁금한 분은 직접 찾아보세요. (사실 제가 이해하고 있는 것도 아닙니다.) 참고로, 앞서 Strata에서 구동했던 Qwen3.8 Flash Next 역시 이 GSQ-RCO를 사용한 양자화 모델입니다.

예를 들어, 기본 모델을 Unsloth 버전의 양자화로 실용적인 3bit로 만들면 약 12GB가 필요하고, KV 캐시 등을 포함하면 VRAM 16GB의 그래픽카드가 필요하여 현실적이지 않습니다. 하지만 이 모델은 같은 양자화임에도 방식을 고안함으로써, 약 10GB로 Unsloth 3bit 버전과 거의 동등한 정확도를 보여줍니다. 이렇게 되면 RTX 3060이나 RTX 4070처럼 VRAM 12GB의 그래픽카드로도 대화용 KV 캐시 여유분을 남기고 구동할 수 있습니다. 그래서 한번 구동해 보겠습니다.

구동 결과

이번에는 최적화된 추론 엔진이 없기 때문에, 일반적인 llama.cpp로 구동합니다. 모델 다운로드나 기본적인 사용법은 생략하겠습니다. 앞서 올린 Hugging Face 페이지를 참고해 주세요.

참고용으로 실행 명령어만 남겨둡니다.

& "C:\Users\hoge\Downloads\llama.cpp\build\bin\Release\llama-server.exe" -m \models\Qwen3.8-27B-GSQ-RCO-IQ2_XS-mtp.gguf -ngl 99 -c 32768 -np 1 -ctk q8_0 -ctv q8_0 -fa on --jinja --alias local-model --port 8080

테스트한 환경은 Flash Next를 구동했을 때와 같은 컴퓨터입니다.

생성 속도는 초당 약 20토큰(tok/s) 정도입니다. 이 설정으로 VRAM에 모델 전체가 올라가 있지만, 파라미터 조정이 부족하여 현재 이것이 최선입니다. Flash Next와 비교하면 떨어지지만, 그 추론 엔진의 최적화가 너무 뛰어나서 그렇습니다. 이 정도 속도만 나와도 읽기에는 충분하기 때문에, 무거운 처리를 하지 않는다면 추론 시간은 신경 쓰지 않을 것 같습니다.

이 모델 역시 정확도 면에서는 부족함이 없습니다. 도구(tool)를 사용해서 추론해 주고, 한국어 성능도 높습니다. 다만 VRAM이 12GB라서 컨텍스트(context)를 많이 확보하기 어렵기 때문에 상한선에 금방 도달합니다. 그 점은 조금 다루기 불편하지만, 메인 메모리가 적은 사람이라도 그래픽카드가 있으면 구동할 수 있어서 좋은 모델입니다.

맺음말

지금까지는 서버용 그래픽카드(GPU)가 아니면 구동할 수 없었던 거대 모델이, 손안의 PC에서도 돌아오는 시대가 드디어 왔습니다. 최근 발표된 Qwen4는 성능이 더욱 향상된 것 같아, 어쩌면 AI는 돈을 내고 사용하는 것이 아니라, 자신의 PC에서 돌려 쓰는 시대가 올지도 모릅니다. 게다가 그래픽카드 가격이 오르는 상황에서, 설마 게이밍 PC에서도 구동 가능한 추론 엔진(Inference Engine)이 나올 줄은 예상하지 못했습니다. 앞으로 어떻게 될지 매우 기대됩니다.

다만, 며칠 사용해 보니 역시 Claude나 ChatGPT가 정확도가 높고 신뢰해서 사용할 수 있다는 생각이 들었습니다. 로컬 모델은 가끔 성능이 떨어지는 때도 있어서, 검증하면서 함께 해나가야 할 것 같습니다. 한 번 시도해 보고 만족하는 분들이 많을 것 같기도 합니다.

따라서 로컬 모델은 목적을 가지고 사용하는 것이 좋을지도 모릅니다. 기밀 정보를 다루고 싶거나, 클라우드 모델이 장애로 인해 가끔 사용하지 못하게 되는 상황이 싫다는 등의 경우 말이죠. 참고로, 로컬 모델이 아니면 할 수 없는 일도 있습니다. 윤리적인 기준을 무시하는 행동 같은 것이죠. 유료 버전의 AI에서는 계정 정지(Ban)를 당할 만한 일이, 로컬 모델에서는 해낼 수도 있습니다. 이런 방향으로 조장하고 싶은 것은 아니지만, 그럴 수 있다는 것을 알고 있는 것이 중요합니다.

이상입니다!!

Discussion