로컬 실행 Qwen-3.6-27B 와 독점 모델 간의 실제 비교

안녕하세요 여러분!

최근 러시아어로 된 글을 작성했는데, 그 내용은 저의 경험에 기반하여 하위 등급 클라우드 모델들과 어려운 작업에서 Qwen-3.6-27B 를 비교한 내용입니다. 결과를 흥미롭고 놀라웠다고 생각하여 번역을 공유하고 싶었습니다. 이는 LLM 로 작성된 코드를 평가하는 것이므로 Rule 3 을 위반할 수 있지만, 저의 방법론은 손으로 직접 제작되었고 결과는 여전히 단순하지 않습니다. 번역에 대해 죄송합니다. 제 영어 실력은 그리 좋지 않기 때문입니다.

---

한때 AliExpress 에서 구한 3090 과 Xeon 이 장착된 서버를 가지고 있었고, 그 위에서 로컬 모델을 실행했습니다. 이는 모든 LLM 상호작용이 웹 UI 를 통해 이루어졌고, 에이전트 (agents) 가 막 등장하기 시작한, 그리고 코드를 제대로 작성하려면 채팅에서 파일을 복사하고 다시 붙여넣어야 했던 그 멋진 시절입니다. 당시 저는 Mixtral 8x7B 를 로컬에서 부분적으로 RAM 으로 오프로드하여 실행했고, 매우 만족했습니다. 생성 속도는 초당 약 8 토크였으며, 이는 인스턴트 모델과 대화하는 데에 충분했고, Mixstral 은 제 대학의 기업가 정신 및 혁신 (Entrepreneurship & Innovation) 과목에서 저를 위해 에세이를 성공적으로 작성했습니다. 코드 생성도 시도해 보았지만, 오히려 Ansible 구성을 위한 것이었고, 예상이나 대로 팀 리더에게 어리석은 실수들로 인해 꾸중을 들었습니다. 즐거운 시절이었습니다.

이제 Qwen-3.6-27B 와 Qwen-3.6-35B-A3B 가 나왔습니다: 코딩과 에이전트 작업에 특화된 두 개의 작은 모델로, 로컬 추론을 목표로 합니다. 이들을 완전 정밀도 (FP8) 로 실행하려면 약 36/40 GB 의 VRAM 이 필요합니다. 이들은 원래 FP8 에서 학습되었기 때문입니다. 하지만 우리는 자랑스러운 사람들이 아니며 타협하는 것을 좋아하므로, GGUFs 를 q4_k_m 또는 q3_k_s 형식으로 가져와 로컬 하드웨어에 맞출 수 있습니다.

로컬 모델이 실제로 vibe coding 에서 얼마나 유능한지 궁금해졌습니다. 분명히 Opus 나 Sonnet 을 대체하지는 않으므로, 만족스러운 목표로 프론티어랩의 서브프론티어 모델을 선택했습니다: GPT-Codex-Spark 입니다. 이 모델은 262k 컨텍스트 윈도우를 가지며, 전체 Codex 나 GPT-5.2/5.4/5.5 만큼 똑똑하지는 않지만, 도구를 호출하고 코드를 작성하는 등 완벽하게 가능합니다. 로컬 모델의 근사치로 작용하기에 충분하며, 차이점은 초고속이고 월 100 달러를 비용이 들지만, 로컬 모델은 매우 느리고 무료이거나, 내 게이밍 PC 가 소비하는 전기 비용을 지불한다는 점입니다. 또한 Anthropic 이 무엇을 제공하는지 확인하기 위해 Claude Haiku 4.5 도 사용했습니다.

로컬 추론 하드웨어로는 Ryzen 7 7800X3D, 64 GB DDR5-6400, 그리고 16 GB VRAM 을 가진 RTX 5080 이 장착된 시스템을 사용했습니다. 작업을 현실적으로 어렵게 만들기 위해 상대적으로 상세한 설계 문서에서 자동 연구 루프 (autoresearch loop) 를 구현하는 꽤 복잡한 작업 프로젝트를 선택했습니다. AGENTS.md 를 사용하여 Qwen-3.6-27B-q4_k_m, OpenRouter 를 통한 Qwen-3.6-27B, OpenRouter 를 통한 Gemma-4-31B, Pi Agent 를 통한 Claude Haiku 4.5, 그리고 Codex 를 통한 Codex-Spark 를 구현하도록 프롬프트를 보냈습니다. OpenRouter 모델은 API 를 통해 이러한 모델을 사용할 비용과 그들의 능력의 상한선을 추정하기 위해 포함되었습니다.