약 일주일 전 Qwen3.6-35B-A3B 가 출시되었을 때, 저는 이전 Qwen3.5 모델들의 점진적 개선이 있을 것이라 예상했습니다. 그 이유는 해당 모델들은 제가 시도해 본 이전 로컬 모델들보다는 꽤 훌륭했기 때문입니다. 그리고 Qwen3.5 는 제가 로컬 모델을 테스트하기 위해 사용해 온 다소 지루한 ThreeJS 과제에서 잘 수행했습니다. Qwen3.6 은 해당 모델을 몇 분 동안 디버깅하는 데 걸리던 작업을 약 1 분 만에 수행했습니다. 저는 이 모델이 이전 모델보다 어떤 방식으로든 훨씬 더 똑똑하다는 것을 빠르게 깨달았습니다. 사실, 제가 시도해 본 이전 로컬 모델들보다는 클라우드 모델들과 비교할 때 더 가깝습니다. Gemma 4 는 가장 근접하지만, 여전히 제가 LLM 을 사용하는 과제에서 더 통찰력 있는 계획이 부족하고 일반적으로 오류 발생률이 더 높았습니다. 이는 이 모델이 희소 (sparse) 모델이라는 사실도 무시하지 않은 것입니다. 이는 몇 배 더 빠르게 실행되면서, 제 생각에는 훨씬 더 고품질의 출력을 생성한다는 뜻입니다. 또한 저는 여러 복잡한 코드베이스를 탐색하고 요약하도록 시도해 보았습니다. 불과 1 분이나 2 분 만에 제가 요청한 내용에 대한 상세 보고서를 반환했습니다. 저의 끔찍한 뱀 테스트 (snake test) 는 이 모델에 적합하지 않을 것 같은 느낌이 들었기 때문에, 제가 정말 좋아하는 C++ 프로젝트를 Rust 로 포트하는 것을 시도해 보았습니다.

저는 오랫동안 OddVoices 를 더 사용자 친화적인 quelquething 으로 패키징하고 싶었습니다. 맥락은, 이는 Vocaloid 나 UTAU 의 다소 생소한 오픈소스 대안입니다. 저는 최근 Rust 로 VST3 오디오 플러그인을 작성하는 것에 대해 실험했습니다 그리고 NIH-Plug 와 egui 를 사용하면 거의 간단합니다. 어쨌든, 저의 liboddvoices 코드를 Rust 로 포트하여 OddVoices 를 플러그인으로 만들거나 다른 종류의 그래픽 프로그램을 만드는 것으로 시작할 수 있다고 생각했습니다. 더 나은 것은, 이는 이 새로운 Qwen 모델을 테스트하는 완벽한 시험이 될 것입니다. 솔직히, 얼마 전 클라우드 모델들은 이런 것들을 매우 실패했을 것이므로, 로컬 모델이 이를 시도해 볼 수 있다는 사실이 얼마나 놀라운지 분명합니다.

그리고 시도해 보았습니다. 그리고 저는 이것이 성공 (대부분) 이었다는 것을 공유하고 싶습니다. 생성된 포트 는 몇 가지 미미한 버그가 속도와 관련이 있으며 특정 사운드에 문제가 발생하여 때때로 피크를 유발하지만, 원래 코드와 거의 동일하게 들립니다. 저는 코드가 작동하는 동안 수동으로 출력을 테스트하고, 특정 사운드 측면이 제대로 작동하지 않을 때 C++ 구현을 참조하도록 지시했습니다.它不仅使用了我的模糊方向来找到正确的代码片段，而且它还认识到自己的实现有错误，并根据从原始代码中学到的内容进行了更新. 물론, 코드 포팅의 전체 목적은 원래 구현을 복제하는 것입니다. 그러나 더 큰 LLM 은 테스트에서 머리를 내리기 전에 세부 사항을 간과하는 경향이 있습니다. 여전히 이 작은 모델은 훨씬 더 큰 클라우드 모델과 거의 동일합니다. 제가 이것이 Haiku 의 새로운 리비전이라고 말씀드리면, 아마도 믿었을 것입니다.

현재 Rust 포트의 출력 파형 vs 원래 C++ liboddvoices 엔진.

물론 제가 언급한 문제들은 추가 테스트로 해결할 수 있지만, 저는 약 5 시간 정도에 걸쳐 총 2 일의 개발 시간을 통해 이 모델이 무엇을 달성했는지 들으시기를 원했습니다. 이 모델은 Stable Diffusion 1.4 가 Dall-E 2 에 준한 것입니다: 로컬 환경에서는 클라우드 대형 모델과 동등하거나, 경우에 따라 더 좋습니다. 저는 주로 이 모델을 덕분에 약 일주일 동안 전 로컬 워크플로우를 사용하고 있으며, 훨씬 큰 모델들과 비교하여 큰 차이를 느끼지 못했습니다.

예를 들어: 이 것은 놀랍습니다. 저의 컴퓨터에서 이렇게 좋은 성능을这么快로 실행할 것이라 생각하지 않았습니다. 아직 이 모델과 Gemma 4 를 보지 않으셨다면, 둘 다 확인해 보세요. 사람들이 말한 대로 Gemma 4 는 대화형 작업에 더 나은 종합 모델이며, Qwen3.6 은 에이전트 코딩에 탁월합니다.

사람들이 종종 제가 무엇을 사용하는지 묻고, 제가 모든 것을 로컬에서 실행해보려고 생각했기 때문에, 여기 제가 사용하고 있는 것이 있습니다:

백엔드: Ooba's TextGen - Llama.cpp 와 다른 몇 가지 인기 있는 백엔드를 위한 합리적인 포터블 래퍼. 저는 많은 다른 호스팅 옵션보다 더 나은 UX 를 가지고 있다고 생각합니다. 그리고 제공되는 채팅 인터페이스도 꽤 좋습니다.

에이전트/편집기: Cline + VSCodium - VSCodium 는 모든 Microslop BS 를 제거하고, Cline 은 로컬 및 클라우드 모델에 쉽게 연결할 수 있는 강력한 FOSS 에이전트 확장 프로그램을 제공합니다.

MCP: Grounded Docs MCP + Granite-Embedding-278m-multilingual + KoboldCpp - Context7 의 가장 우아한 로컬 대체품입니다. Ooba 를 사용할 수도 있지만, KoboldCpp 는 단일 바이너리 파일이므로 스크립팅이 훨씬 더 쉽습니다. GPU 를 사용하여 문서 인덱싱을 훨씬 빠르게 실행할 수 있으며, GPU 가 메인 모델로 점유될 때 CPU 를 사용하여 일반적인 쿼리를 실행할 수 있습니다. 이는 기본 웹 크롤러가 내장된 고전적인 RAG 시스템과 거의 같습니다. 많은 외부 의존성을 가진 복잡한 프로젝트 작업은 특히 제한된 세계 지식을 가진 작은 모델에 대해 훨씬 더 견딜 수 있게 합니다. Context7 는 번거롭지 않은 클라우드 대안이지만, 개발 환경의 핵심 기둥이 독점 클라우드 서비스라면 정말로 로컬이라고 할 수 있을까요?

이것이 이 크기의 로컬 모델의 새로운 기준이라면, 미래 모델들이 무엇을 달성할 수 있는지 매우 기대합니다. 저는 여전히 다른 모델들처럼 이렇게 이 것이 할 수 있는 한계를 아직 완전히 도달하지 못했다고 생각합니다.