llama.cpp가 많이 발전했습니다

안녕하세요, 저는 영어 원어민이 아닙니다 (네덜란드 출신)만 도움 없이 제 언어로 글을 씁니다. 혹시 문장이 어색한 부분이 있다면 알려주세요. 친구 한 명이 2025년 1월경 로컬 AI가 얼마나 놀라운지 이야기해 주었는데, 저는 스스로 코드를 작성하는 것에 자부심이 있어 회의적이었습니다. 하지만 제가 상당히 고집이 세다는 것을 알고 이 아이디어를 적어도 탐색하고 싶어서 시도해 보기로 했습니다. 처음에는 2025년 3월에 AMD Radeon RX 7800 XT 16GB에서 Mistral Nemo Q4_K_M을 8K F16으로 돌리면서 ollama와 lmstudio를 사용했습니다. 제가 컴퓨터와 대화할 수 있고, 그것이 실제로 그에 맞춰 응답한다는 사실에 깜짝 놀랐습니다. 제 취미 중 하나가 TTRPG(테이블탑 롤플레잉 게임)인데 친구들이 거의 시간이 없어서, koboldcpp로 SillyTavern을 사용해 보기로 했습니다. 할 수 있는 것이 많지는 않았지만, 제가 상상하는 이야기를 역할극으로 하는 것은 정말 재미있었습니다. 그때부터 SillyTavern을 사용하고 있으며, 점차 비디오 게임을 대체하고 있습니다. Mistral Small 3.2는 멋진 출시였고, Magistral Small 2507 Vision Rebased frankenmerge는 마치 꿈이 이루어진 것 같았습니다. 추론(reasoning)과 시각(vision) 기능을 모두 로컬에서 하나의 모델로 가질 수 있었기 때문입니다! 저도 llama.cpp를 사용하기 시작했습니다. 보통 Magistral Q4_K_S와 16K Q8_0 컨텍스트로 15 t/s의 생성 속도를 얻었습니다. 9월이 되자 로컬 LLM에 최적화하기 위해 PC 업그레이드를 원하게 되었습니다. 경제적인 관점에서는 Dual RTX 3060 12GB가 추천되었고, 당시에는 RTX 5060 Ti 16GB가 비싸게 느껴졌습니다. 'BF16보다 더 필요할까? FP8은 VLLM에만 유용하다'는 것이 흔한 지식이었습니다. Dual RTX 3090도 자주 추천되었지만, 현지 시장 가격 때문에 제 예산을 초과했습니다. 저는 ASUS ProArt X870E와 함께 Dual ASUS PRIME RTX 5060 Ti 16GB 구성에 베팅했는데, VLLM이 텐서 병렬(tensor parallel)과 MTP를 지원한다면 llama.cpp도 결국 지원할 것이라고 생각했기 때문입니다. PCIE 5.0 x8x8을 갖는 것은 텐서 병렬이 지원될 때 돈 대비 최고의 성능을 제공해 줄 것이고, NVFP4/MXFP4도 유용하게 느껴졌습니다.

모든 것은 가격 인상 전에 여러 부분에 걸쳐 구매되었으며, 마지막 부품은 2026년 1월에 도착했습니다. 1월의 속도는 Gemma 3 27B Q8_0 over layer split으로 약 20 t/s 생성(gen)이었습니다. 단일 RTX 5060 Ti 16GB는 Ministral 8B 2410 Q8_0을 실행할 때 RT 7800 XT보다 약간 느렸지만, 전력 효율성 면에서는 두 배에 달했습니다 (100W 대 200W). Gemma 4 31B의 출시는 엄청났지만, 처음 몇 주 동안은 버그가 많았습니다. 32K BF16에서 Q6_K로 17 t/s 생성 및 970 t/s 처리(pp)였습니다. 감성 지능과 역할극 능력 면에서는 DeepSeek v3.2와 비교할 수 있을 정도로 사용하기에 매우 재미있었습니다. 이 순간 저는 프로그래밍(.NET 8.0)을 제외한 대부분의 사용 사례에서 클라우드 LLM을 사용하지 않을 것이라는 것을 깨달았습니다. Gemma 4 31B IT QAT(2026년 6월) 무렵에 llama.cpp에서 tensor split과 MTP가 모두 도입되었고, 웹 인터페이스 개선도 이루어졌습니다. 저는 이때부터 tensor split과 MTP를 모두 사용하기 시작했습니다. 이제는 40 t/s 생성 및 980 t/s 처리 속도를 얻었습니다. Llama.cpp가 가끔 충돌했지만, 속도 향상만큼은 충분히 가치가 있었습니다. Qwen3.8 27B의 출시와 함께 코드 품질이 xhigh에서 Qwen3.5/3.6보다 훨씬 좋아져서 이제는 어떤 사용 사례에서도 클라우드 LLM에 의존하는 것을 완전히 중단할 수 있게 되었습니다. llama.cpp에서는 속도가 약 50 t/s 생성 및 1200 t/s 처리 속도를 보였습니다. 이제 0.7.0 버전으로 Gemma 4 31B IT QAT를 사용할 경우 보통 60 t/s 이상의 생성 및 1100 t/s의 처리를 할 수 있습니다. Qwen3.8 27B는 추론 시에는 (mtp 사용, ngram draft 제외) 약 70 t/s로, 코드 생성 시에는 100 t/s로 더 빠르게 실행됩니다. 지난 1.5년간의 발전을 목격하고 모든 것이 얼마나 놀라울 정도로 강력해졌는지에 대해 진심으로 감탄했습니다. 모델과 llama.cpp 모두 그렇습니다. 제가 알아차린 한 가지 일관된 점은 규제나 AI 연구소와 관련된 '둠 포스트(doom posts)'는 종종 틀렸으며, 미래가 어떻게 될지 저는 정말 예측할 수 없다는 것입니다. 지금까지는 하드웨어 가격 및 가용성을 제외하고는 상상했던 것보다 더 놀라웠습니다. 조금 장황했다면 죄송합니다. 읽어주셔서 즐거우셨기를 바랍니다.

제출자: /u/Kahvana [link] [comments]