단일 16GB GPU + 64GB RAM 환경에서의 Local LLM 자동 완성 + 에이전트 방식 코딩 (Agentic Coding)

오늘 저는 실제로 사용 가능한 수준의 완전한 코딩 툴박스를 단일 RTX 5080(RAM 오프로딩 포함)에 구축했습니다.

자동 완성 (Autocomplete): mradermacher/zeta-2.1-i1-GGUF:Q5_K_M

에이전트 방식 (Agentic): unsloth/Qwen3.6-35B-A3B-GGUF:UD-Q8_K_XL

---

이 모델들을 선택한 이유:

최근 모델 중 인필 (Infill) 프롬프트로 학습된 모델이 많지 않습니다. 과거에는 Qwen2.5-Coder-7B-Instruct를 사용해 왔지만, 저는 Zed를 IDE로 사용하고 있으며, Zed에는 인필을 위한 자체 파인튜닝 (Finetune) 모델이 있습니다. 그들의 첫 번째 Zeta 1 모델은 Qwen2.5-Coder-7B를 기반으로 파인튜닝되었고, 최신 Zeta 2 및 Zeta 2.1은 Seed-Coder-8B를 기반으로 합니다. 지금까지 Zed에서 Zeta 2.1을 사용해 본 결과, Qwen2.5의 제안보다 더 좋은 결과를 얻고 있습니다. 더 자세한 정보: https://huggingface.co/zed-industries/zeta-2.1

이 자동 완성 모델은 아래 명령어를 사용할 경우 약 8GB의 VRAM을 점유합니다.

Qwen3.6 35B-A3B는 좋은 프롬프트를 제공한다면 Q8 양자화 (Quantization) 수준에서 에이전트 방식 코딩 (Agentic coding)을 매우 잘 수행합니다. 솔직히 말해서 Q4에서는 사용이 불가능하고 길을 자주 잃지만, Q8에서는 문제를 파악하고 실제로 작업을 올바르게 완료할 수 있습니다. MoE 전문가 (Experts)를 위한 RAM이 충분하지 않다면 Q6_K를 시도해 보되, 더 낮은 양자화 수준은 품질 문제가 눈에 띄게 나타납니다. 모델을 수용하고 시스템과 IDE 등을 위한 여유 RAM을 확보하려면 최소 64GB의 전체 RAM이 필요합니다.

이 모델은 활성 파라미터 (Active params)가 3B이기 때문에 여전히 빠르며 남은 8GB VRAM에 들어갑니다.

---

명령어:

llama-server -hf mradermacher/zeta-2.1-i1-GGUF:Q5_K_M \
  -ngl 99 --no-mmap --ctx-size 0 -ctk q8_0 -ctv q8_0 -np 1 --cache-ram 0 \
  --temp 0.5 --port 8012 --host 127.0.0.1

llama-server -hf unsloth/Qwen3.6-35B-A3B-GGUF:UD-Q8_K_XL \
  --no-mmap --no-mmproj -fitt 0 -ngl 99 --cpu-moe \
  -b 2048 -ub 2048 --jinja -ctk q8_0 -ctv q8_0 \
...

llama.cpp가 모델을 자동 맞춤 (Autofit)하며, 이 명령어를 통해 약 175k의 컨텍스트 (Context)를 확보할 수 있습니다. 컨텍스트 품질에 문제가 발생하면 -ctv q8_0 -ctk q8_0를 제거할 수 있으며, 이 경우 약 110k의 컨텍스트를 얻게 됩니다. 또한 Qwen3.6에서 더 많은 컨텍스트를 원한다면 Zeta 2.1에 Q4_K_M을 사용할 수도 있습니다.

이 설정에서의 35B-A3B 속도:

pp4096 | 2093.93 ± 22.64
tg128 | 35.29 ± 0.48

---

수정 사항: 수정 전에는 bartowski/Qwen2.5-Coder-7B-Instruct-GGUF:Q6_K_L을 특징으로 다루었으나, mradermacher/zeta-2.1-i1-GGUF:Q5_K_M으로 교체했습니다. 저는 IDE (통합 개발 환경)로 Zed를 사용하고 있는데, Zed가 인필 (Infill)을 위한 자체 파인튜닝 (Finetuned) 모델을 가지고 있다는 것을 알게 되었습니다. Zeta 2.1이 Qwen2.5보다 더 나은 제안을 제공합니다.