로컬 LLM 을 코딩 작업에 더 이상 사용하지 않음
요약
글쓴이는 로컬 LLM을 코딩 작업에 사용하는 것에 대한 경험을 공유하며, 높은 성능의 모델(Qwen 27B, Gemma 4 31B 등)과 에이전트 앱을 사용했음에도 불구하고 생산성 손실이 크다는 결론을 내렸습니다. 특히 로컬 LLM들이 의사 결정 및 도구 호출 과정에서 신뢰성이 떨어지고, OS/Docker 작업 같은 기본적인 지시를 따르는 데 어려움을 겪는 것이 주요 문제점으로 지적되었습니다.
핵심 포인트
- 로컬 LLM은 코딩 작업에 사용하기에는 생산성 손실이 크다.
- LLM의 의사 결정 및 도구 호출 과정에서 신뢰성이 떨어진다 (예: 잘못된 추론, 불필요한 후속 작업).
- OS/Docker와 같은 기본적인 시스템 작업 지시를 따르는 데 어려움이 있다.
- Claude Code와 같은 상용 서비스가 로컬 LLM보다 더 나은 사용자 경험을 제공한다.
지난 몇 주 동안 로컬 모델에 대한 공정한 기회를 제공해 보았습니다. 비업무 기술 문의에는 로컬 모델을 사용하도록 스스로를 강요했습니다. 제 직장에서 Claude Code 를 사용하고 있으므로 이를 비교 기준으로 삼고 있습니다.
Qwen 27B 와 Gemma 4 31B 를 사용했는데, 이들은 수백 개의 LLM 중 최상위 모델로 간주됩니다. 또한 여러 에이전트 앱도 시도해 보았습니다. 저의 결론은 생산성 손실이 이 장점에 비해不值得하다는 것입니다.
저의 주요 문제점을 간략히 개요하겠습니다.
나쁜 의사 결정 및 도구 호출 (Shitty decision-making and tool-calls)
이것은 큰 문제입니다. Claude 는 대부분의 경우 제 마음을 읽는 것처럼 보이지만, Qwen 27B 는 Carlo Ancelotti 의 눈썹을 더 자주 주게 합니다. LLM 은 제가 진행하는 방식대로 진행되지 않습니다.
저는 주로 로컬 LLM 을 OS/Docker 작업에 사용했습니다. 이것이 코딩보다 훨씬 어렵거나 다른 것인가요?
예를 들어, "Github 저장소를 여기에 드립니다. Docker 화해 주세요"와 같은 작업의 경우, 어떤 멍청이도 README 의 지시를 따르고 실행할 것이라고 기대합니다. (수정: 전체 프롬프트는 여기입니다: https://reddit.com/r/LocalLLaMA/comments/1sxqa2c/im_done_with_using_local_llms_for_coding/oiowcxe/ )
'docker build' 가 기본 시간 제한보다 오래 걸려 관련 없는 후속 작업을 보내는 경우 (작업이 실패한 것처럼) 대신 여전히 실행 중인지 확인하는 경우와 같은 문제가 있습니다. Qwen 이 호스트 (또한 Ubuntu) 에서 설치 명령어를 반복하여 어떤 일이 일어나는지 보려고 했습니다. 그것은 마치
AI 자동 생성 콘텐츠
본 콘텐츠는 Reddit AI Engineering의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기