본 글은 로컬 LLM(Qwen3.8-27B)이 클라우드 모델과 경쟁하는 현황을 분석하며, 하네스만으로 최첨단 성능을 낼 수 있다는 주장에 대해 회의적입니다. 작성자는 Bonsai 양자화나 LiveCodeBench Hard 같은 기존 벤치마크가 가진 한계를 지적합니다. 실제 에이전트 작업이나 시간 제약 측면에서 모델 자체의 근본적인 지능 부족은 물량으로 메울 수 없다고 주장합니다.
핵심 포인트
로컬 LLM 성능 상한선은 높으나, 최첨단 모델과 동등함을 하네스로만 증명하기는 어렵다.
Bonsai 양자화는 실무에 적합하지 않으며, 코딩 용도로는 Q5 또는 Q6 이상의 비트가 권장된다.
LiveCodeBench Hard 같은 벤치마크는 이미 성능이 포화되었거나 에이전트 작업을 반영 못한다.
모델의 지능 부족은 단순히 토큰 생성 물량(시간)으로 해결할 수 없다.
AI 자동 생성 콘텐츠
본 콘텐츠는 GeekNews의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
로컬 모델이 초대형 클라우드 업체와 경쟁력을 유지하도록 반드시 힘써야 함. 언제까지나 이들 업체와 그 변덕에 종속되고 싶지는 않음. Anthropic이 게임 역공학까지 제한하기 시작한 걸 보면, 검열에서 돌이킬 수 없는 선을 넘기 직전인 듯함.
다행히 이미 공개된 가중치는 사라지지 않음. Qwen 27b와 DeepSeek는 이미 상당히 유용하며, 하드웨어는 계속 발전하므로 지금의 메모리 수급난이 지나면 더 저렴하게 실행할 수 있을 것임.
독점 모델은 계속 발전할 테고 새 공개 모델이 나온다는 보장은 없음. 그래도 직접 방향을 잡아줄 수 있는 숙련 개발자라면, 로컬 모델은 이미 상당히 많은 코딩 용도에 충분함.
게임 역공학이야말로 이 기술에서 나온 가장 멋진 활용인데 제한한다니 황당함. Nintendo 법무팀에서 서한이라도 받은 것임?
앞으로 Hugging Face에서 'uncensored'나 'abliterated'로 표시된 모델이 전부 삭제될 가능성이 꽤 높다고 봄. 지금 이런 모델의 보급을 가로막는 가장 큰 장벽은, 안전장치를 제거한 deepseek v4.1 flash 1017이나 mimo 2.6급 모델의 Q8 버전을 로컬에서 돌릴 하드웨어와 예산을 갖춘 사람이 극히 적다는 점임.
Bonsai 2 양자화를 쓰면 합리적인 가격의 게이밍 PC에서도 Qwen 27B를 초당 50토큰으로 돌리는 게 충분히 가능하다는 점에서 흥미로움. 실행 구성인 하네스를 잘 설계하면 로컬에서도 Fable 5 수준의 코딩 성능을 낼 수 있다는 뜻일 수 있음.
물론 같은 하네스를 적용하면 Fable의 성능도 좋아질 것임. 핵심은 로컬 성능의 상한이 상당히 높을 수 있다는 점임. 하드웨어 기준은 VRAM 16GB, 시스템 메모리 32GB 정도로 보고 있음.
[0] https://store.steampowered.com/hwsurvey/Steam-Hardware-Softw....
직접 써봤지만 Bonsai 양자화는 실무에 적합하지 않음. 2비트라는 한계 안에서 양자화를 잘했을 수는 있어도, 결과는 예상대로 좋지 않음. Qwen3.8 27B는 4비트도 코딩용으로 불안하고 Q5나 Q6부터 쓸 만한데, 그러면 32GB 카드에서 확보할 수 있는 문맥 길이가 줄어듦.
로컬 추론 엔진을 여럿 시험하고 Fable과 Astra도 쓰고 있지만, 하네스만으로 같은 성능을 낼 수 있다는 건 사실이 아님. 하드웨어를 쉬지 않고 돌려 하루 수천만 개의 Qwen3.8 토큰을 생성해도, Astra·Fable은 물론 Opus나 Sol이 보통 한 시간 안에 끝내는 작업을 해내지 못함. 시간이 무한하지 않은 이상 모델 자체의 지능 부족을 물량으로 메울 수는 없음.
Bonsai 양자화가 그렇게 대단하지는 않음. 빠르고 '27B'라는 이름은 유지하지만, 실제로는 5GB짜리 Bonsai 가중치와 5GB짜리 QAT 가중치의 성능이 비슷함. 하나가 27B에서, 다른 하나가 8B에서 나왔어도 마찬가지임.
Bonsai 2비트는 Qwen 27B의 8비트나 4비트보다도 확연히 덜 똑똑함. 다섯 개를 동원해도 이 정도 품질을 얻을 수 있을지 의문임.
내가 이해하기로 Bonsai 2는 구조가 조금 다르고 추측 디코딩도 아직 제대로 작동하지 않음. 이 부분이 개선되기 전까지는 메모리가 충분하면 원본 모델이 더 빠름. 제대로 된 추측 디코더를 붙였을 때의 속도를 보고 싶음.
이 평가는 LiveCodeBench Hard 목록의 첫 10문제만 사용했으므로, 결론을 내리기 전에 벤치마크를 더 기다리겠음. LiveCodeBench Hard 자체도 몇 년 된 벤치마크라 이미 성능이 포화됐을 수 있음.
기시감이 들어 지난 글에 쓴 댓글을 그대로 붙여도 되겠다고 느꼈음. 하네스 하나 만들어서 좋은 공개 모델이 최첨단 모델과 맞먹는다고 보여주면 인터넷에서 관심받기 참 쉬운 듯함. 정작 사용하는 건 몇 년 묵어 성능이 포화되고 학습 데이터 오염까지 있는 벤치마크이며, 실제로 모델에 맡기는 에이전트 작업은 반영하지 못함.
이 모델들은 이미 3~6개월 전의 괜찮은 Fable 이외 최첨단 모델 수준이고, 그것만으로도 멋진 성과임. qwen 3.9 27b로 gpt 5.5에, 양자화한 DeepSeek나 glm 5.3 flash로 gpt 5.6·Sol·Opus 5에 버금가는 성능을 낼 수도 있을 것임. 당시에도 충분히 유용했던 모델들인데, 굳이 이런 하네스·벤치마크 저질 콘텐츠를 만들어야 하는지 모르겠음.
여기서는 몇 달 전 내가 만든 헤드리스 코딩 에이전트 memdoor로 GVS5H를 재현하려는 것임. 누구나 YAML 파일의 단계, 모델, 온도를 바꿔 하네스를 재구성할 수 있음. 저장소에 재현 방법이 있으니 직접 시험해 보면 됨.
벤치마크는 그렇다 쳐도, 로컬 모델로 실질적인 결과물을 만든 모습은 아직 보지 못했음. X의 게시물도 대부분 벤치마크와 초당 토큰 수 얘기임. 실제 사용자가 있는 완성도 높은 운영용 앱이나 게임을 만든 사람이 있음?
Greg KH는 로컬 LLM이 Linux 커널 버그 탐지에 충분하고도 남는다고 강조함. 그 작업에는 충분히 강력해 보임.
또 주요 LLM 업체의 모델을 쓰다가 작업 중인 내용이 “이상하게” 유출된 일을 본인과 동료들이 여러 번 봤다며, 버그 탐지에는 로컬 LLM만 쓰라고 권장함. 그런 일이 없더라도, 사용자 데이터를 보관하거나 “익명화”해 본사로 보내 차기 제품 개발에 쓰는 시스템에 비밀 데이터를 넣지 않는 게 현명함.
기억이 맞다면 이 영상임.
.
설령 최신 상용 도구보다 6개월 뒤처져도, 6개월 전 이곳에서는 그때의 최신 도구로 완전 자동 코딩이 가능해졌고 소프트웨어 공장이 프로그래머를 빠르게 대체할 거라고 열변을 토하던 사람이 적지 않았음.
실제로 Cerebras도 시험했지만 출력이 32K 토큰으로 제한되어, 원저자가 사용한 128K 추론 예산을 담을 수 없었음. 그래도 Cerebras의 속도 자체는 진짜임.
마침 좋은 시점임. 집에 5080을 한 장씩 장착한 서버 두 대와 메모리 128GB인 Rtx spark 노트북이 있음. 노트북에는 qwen flash next를, 서버에는 27b 모델을 올릴 계획임. dgx spark를 사고 싶었지만 지금은 모든 게 터무니없이 비싸고, 현재 구성을 다시 사려면 3배의 비용이 듦.
주목적은 큰돈을 더 쓰지 않고 네 식구가 쓸 Gemini Flash와 Muse 에이전트 비슷한 환경을 만드는 것임. 5080은 게임용과 이미지 생성용으로 이미 갖고 있었음.
memdoor가 “매일 Dune 3 예매가 열렸는지 확인하고, 열리면 같은 줄에서 네 자리가 붙어 있고 최대한 중앙에 가까운 좌석을 예매해 줘” 같은 에이전트 작업에도 쓸 수 있는지는 모르겠음.
메모리가 128GB를 넘으면 비용이 급격히 뛰어오름. 사실상 Rtx 6000 Pro에 2만 달러 이상을 쓰거나, dgx spark 클러스터에 1만 5천 달러 이상을 써야 함.
꼭 시험해 보겠음. 더 똑똑한 모델을 쓰면 주로 토큰 사용량과 지연 시간이 개선됨. 솔직히 프롬프트와 온도를 조금 더 조정하면 10점도 가능할 듯함. 원저자의 하네스는 이미 꽤 좋은 9.6점을 내고 있음.
다만 가장 어려운 문제는 초당 100토큰에서도 하네스 반복 실행에 한 시간 넘게 걸릴 수 있음. 3.8-flash-next처럼 더 똑똑한 모델이라면 10점을 달성하고 가장 어려운 문제도 더 빨리 풀 수 있으리라 예상하며, 직접 확인해 보겠음.