로컬 AI 개발을 기다려 왔다면, 이제 시도해 보세요

저는 로컬 모델이 로컬 개발에 '내 기준에 미치지 못한다'거나 GHCP, Claude Code, Cursor 등과의 경쟁력이 없다고 고집스럽게 느꼈습니다.

하지만 저는 완전히 틀렸습니다. 클라우드 제공업체들이 급격히 사용 제한을 강화하고 플랜을 파괴 (enshittification) 하기 시작하자, 저는 마침내 Opencode 를 다운로드하여 llama-server + Qwen3.6-27B(합리적인 양자화 Q5_K_P), 128K 컨텍스트로 설정했습니다 (더 높게 밀어 올 수 있는지 확실하지 않지만 현재는 충분합니다). 전용 리눅스 박스에서 1x5090 GPU 를 사용하여 서비스 중입니다. RAM 은 64GB 입니다. 사용 제한을 고려할 필요가 없으며, 코드와 프롬프트가 임의의 검토 과정에서 분석되어 계정을 유지할 수 있는지 결정하는지 걱정하지 않아도 매우 매우 자유로워집니다.

완벽한가요? 아닙니다. 루프로 인해 한두 번 멈추었고, 도구 호출 문법을 망쳐서 사고 블록에 나타났기 때문에 한 번 더 멈췄습니다. 또한 때로는 프롬프트 요구 사항을 상기시켜 주어야 합니다. 하지만 전반적으로... 저에게 이것은 미래처럼 느껴집니다. 사실 내 집의 금속 조각과 대화하고 있다는 것이 여전히 약간 비현실적으로 느껴지지만, 여기 우리는 있습니다.

어쨌든, 이 특정 서브레딧을 위해 아마도 큰 놀라움은 아닐 것입니다. 하지만 저는 꽤 자주 방문했고 회의적이었기 때문에... 그저 공유하고 싶었습니다. 만약 시도해 볼 것을 망설이고 계신다면, 이제는 정말 가치가 있음을 생각할 만큼 충분히 이르렀습니다. 특히 클라우드 제공업체가 행동 조치 (security research, scraping 등) 를 취할 수 있는 것들을 개발하고 싶을 때 더욱 그렇습니다.