ChatGPT나 Claude에 20달러를 지불할 필요가 없는 이유: 무료 로컬 LLM이 필요한 모든 것을 처리하기 때문입니다

저는 제가 사용하는 LLM 습관에 대해 깊이 생각해보는 시간을 가졌고, 필연적으로 가장 큰 클라우드 AI 제공업체들로부터 세 개의 이름이 제 목록에 올라왔습니다. ChatGPT와 Claude는 함께 저의 일상적인 작업 흐름의 상당 부분과 제가 많은 시간을 쓰던 사소한 것들을 처리했습니다. 각각은 다른 모델들이 갖지 못한 고유한 장점을 가지고 있었고, 저는 오랫동안 이 세 가지를 모두 대체할 수 있는 단 하나의 모델이 존재하지 않는다고 확신했습니다.

물론 이러한 편리함에는 대가가 따랐습니다. 두 서비스 모두 20달러짜리 Pro 또는 Plus 플랜을 제공했고, 둘 다 구독하는 것은 제 여윳돈을 깎아 먹고 있었습니다. 당연히 저는 제가 클라우드 모델들에게 던지던 모든 것을 처리할 수 있는 로컬 모델을 찾아보았고, 놀랍게도 대부분, 아니 거의 모든 것을 처리할 수 있는 모델을 찾았습니다.

Qwen 3.8-27B는 제가 바라보는 로컬 AI의 시각을 바꿨습니다

두 개의 구독 서비스 역할을 하지만 비용은 전혀 들지 않습니다

Qwen 3.8-27B를 사용하기 전까지, 저는 이것이 제가 대체하려는 클라우드 모델보다 작고 어쩌면 지능도 떨어지는 것에 만족해야 한다는 의미라고 생각했습니다. 아마도 그래서 Qwen 3.8-27B를 구동하는 것이 로컬 AI에 대해 가지고 있던 모든 기대를 거스르는 것처럼 느껴졌을지도 모릅니다. Unsloth의 UD-IQ4_XS 빌드는 13.3GB 다운로드 크기로, 16K 컨텍스트 창에서 충분한 여유 공간과 함께 제 4070 Ti Super(GDDR6X VRAM 16GB)에 들어갑니다. 그리고 llama.cpp는 이를 localhost에서 구동하며, 몇 분 사용하다 보면 더 이상 불평거리가 아닌 속도를 보여줍니다.

이 모델은 실행 전반에 걸쳐 초당 약 33.7 토큰을 유지하며, 제가 단일 파일로 작동하는 Snake 게임을 만들도록 요청한 Pygame 테스트에서는 정확히 그렇게 해냈습니다. 일반적인 텍스트 질의도 불평할 여지가 없습니다. 이 모델은 제가 보통 클라우드 모델에 의존했던 종류의 평범한 요약 및 분석 작업에 매우 뛰어나기 때문입니다.

ChatGPT를 대체하는 것이 가장 쉬웠습니다

제가 사용하는 것 중 대부분은 데이터 센터에서 실행되는 모델을 필요로 하지 않습니다

제가 ChatGPT를 가장 자주 사용하는 것 중 하나는 문법 검사 및 이메일 다듬기이며, 만약 내용이 장황하게 도착하는 경우 핵심 세부 정보를 추출하는 것입니다. 드물게는 너무 과도해지거나 전문 용어로 가득 찬 초안의 생각을 제가 더 효과적으로 전달할 수 있는 형태로 간결하게 다듬거나 변환하는 데 사용하기도 합니다.

또한 제품 및 서비스에 대한 조사를 할 때 감성 분석(sentiment analysis)에 크게 의존합니다. 저는 종종 수십 개의 사용자 포럼과 토론 스레드를 거치면서 소비자들이 특정 제품, 서비스 또는 가격 변경에 어떻게 반응하고 있는지 파악한 다음, LLM을 사용하여 그 정보를 체계화합니다.

이 모든 작업들은 로컬 모델(local model)이 아무런 어려움 없이 처리할 수 있는 일들이며, 이는 Qwen 및 Gemma 계열의 모델들을 며칠간 사용하면서 알게 된 것입니다. 이를 시험해 보기 위해, 저는 Qwen 3.8-27B에게 PC 부품 가격에 대한 의도적으로 장황한 이메일과 그 속에 흩어져 있는 수십 개의 숫자를 입력했습니다. 이 모델은 모든 숫자를 추출하여 깔끔한 표로 분류할 수 있었고, 이것만으로도 저에게는 이 모델이 은행 계좌 명세서에서 구독료를 지불하는 데 사용할 수 있다는 확신을 주기에 충분했습니다.

Claude가 훌륭하지만, 떠나라고 할 때까지는 그렇지 않다

코딩과 같은 반복적인 작업에는 5시간 제한이 역효과이다

Anthropic의 최첨단 모델(frontier models)들이 코딩 면에서는 의심할 여지 없이 더 뛰어납니다. 저를 믿지 못하신다면, 제가 Google 및 OpenAI의 모델들을 상대로 진행했던 수십 가지 테스트만 거쳐보시면 됩니다. 심지어 Claude의 등장이 개발자 워크플로우(developer workflows)를 영구적으로 변화시켰다고 주장할 수도 있을 정도입니다.

저도 비슷한 방식으로 사용합니다. 특히 많은 상호작용이 필요한 Python 프로젝트를 작업할 때 그렇습니다. 문제는 Anthropic의 모델들이 너무 많은 제한(limits)과 안전장치(guardrails)가 있다는 것입니다. 저처럼 최고 모델에서 추가적인 사용량이나 성능을 위해 매달 20달러를 기꺼이 지불할 고객에게도 말입니다. 요즘 Claude의 사용 한도를 우회하거나 최대한 완화하기 위한 수정 방법들로 전용 튜토리얼들이 생겨나는 것은 놀라운 일이 아닙니다.

Claude에 의존하는 사람이 직면하는 가장 큰 문제는 5시간 제한이 소진되면, 구독료 외에 추가 청구가 발생하는 신용카드를 사용해서 다시 작동하게 만드는 것 외에는 할 수 있는 것이 거의 없다는 것입니다. 한도가 완전히 초기화되기를 기다리는 것은 반복적인 코딩 프로젝트의 흐름을 망가뜨립니다. 왜냐하면 제가 돌아왔을 때(5시간 후), 저는 스레드를 처음부터 다시 훑어보고, 이전에 작업하던 앱을 개선하기 위한 아이디어를 놓칠 수도 있습니다.

이것은 로컬 모델을 실행함으로써 거의 완전히 해결되는 문제입니다. Qwen을 로컬에서 실행하면 5시간 제한도 없고, 주간 한도도 없으며, 월말에 쌓여서 저를 노려보는 초과 사용 요금(overage bill)도 없습니다. 원한다면 밤새 프로젝트를 반복적으로 진행할 수 있고, 비용은 GPU가 벽에서 끌어오는 285W만 들 것입니다.

추가적인 장점으로, 제가 Qwen에게 보내는 어떤 것도 제 PC를 떠나지 않습니다. 이는 반쯤 완성된 앱과 벤치마킹 데이터 모두에 해당하며, 어느 것도 다른 조직이 보존 정책을 통제하는 서버에 닿지 않습니다.

Product image for the llama.cpp tool.

llama.cpp

Llama.cpp는 대규모 언어 모델(LLM)을 사용자의 컴퓨터에서 로컬로 실행할 수 있는 오픈 소스 프레임워크입니다.

Qwen 모델은 무료이지만, 올바른 워크플로우에서는 값을 매길 수 없습니다.

Qwen 3.8-27B가 벤치마크 차트에서 최고는 아닐지라도, 제가 LLM을 필요로 하는 간단한 작업들에는 전혀 문제가 없습니다. 제 워크플로우(그리고 제 GPU의 VRAM) 요구 사항에 완벽하게 맞는 모델을 찾았지만, Hugging Face에는 모든 카드에 맞는 완벽한 모델이 있습니다. 16GB 노트북에서도 편안하게 구동되는 Gemma 계열부터 훨씬 오래된 하드웨어에서도 실행될 수 있는 작은 Qwen 빌드까지 다양합니다. 이들 모두 구동하는 하드웨어를 제외하고는 비용이 들지 않기 때문에, 이것저것 만져보고 사용해 볼 이유가 없습니다.