최근 로컬 LLM을 활용한 코딩 에이전트의 성능에 대한 의문점을 실제 Go 언어 기반의 개발 워크로드로 검증하는 실험 결과를 공유합니다. 핵심 결론은, 최첨단(frontier) 모델과 비교했을 때도 적절하게 설계된 로컬 스캐폴드와 라우팅 정책을 갖춘 시스템이 놀라울 정도로 높은 성능을 보여준다는 것입니다.

🧪 평가 개요 및 결과

본 평가는 공개 벤치마크가 아닌, 작성자 본인의 실제 Go 리포지토리에서 추출한 10개의 실질적인 코딩 과제(CLI 변경, 의존성 관리, 마이그레이션, 에러 분류 등)를 사용했습니다. 이로 인해 평가의 현실성이 매우 높습니다.

이 결과는 로컬 환경 구축의 패러다임을 제시합니다. 단순히 최신 모델을 도입하는 것만으로는 한계가 명확하며, 시스템 아키텍처가 성능을 좌우함을 보여줍니다.

✨ 성능 향상의 핵심: 스캐폴드와 라우팅

성능 개선에 가장 큰 기여를 한 요소는 단순히 모델의 교체가 아니었습니다. 초기에는 기본적인 Aider 스타일의 핸즈(harness)만 사용했을 때 3/10에 그쳤으나, 'little-coder' 같은 전문 스캐폴드를 도입하고 태스크별 라우팅을 적용하면서 성능이 급격히 상승했습니다.

최종 라우팅 시스템의 작동 원리:
시스템은 과제의 형태(Task Shape)와 실패 모드(Failure Mode)를 분석하여 최적의 도구/모델 조합을 자동으로 결정합니다. 예를 들어:

1. 일반 Go 모듈 작업 및 SQL/마이그레이션 작업 $
   ightarrow$ Qwen3.6 + little-coder 사용
2. 좁은 컴파일/임포트 실패 (Narrow compile/import failure) $
   ightarrow$ 로컬 Gandalf를 이용한 직접 파일 수리(Direct file repair)
3. 타이머/동시성 버그 (Timer/ticker/concurrency bug) $
   ightarrow$ 전문화된 플레이북 또는 최첨단 모델로 에스컬레이션

이러한 자동 라우팅은 '최고의 모델을 선택하는 것'보다 '과제에 맞는 추상화(abstraction)를 적용하는 것'이 훨씬 중요하다는 결론을 도출하게 했습니다.

🛠️ 로컬 시스템 구축 및 개선 사항

1. 하드웨어 구성: RTX 5090 (Ollama on Frodo), RTX Pro 6000 (Gandalf) 등 고성능 GPU 자원을 활용했습니다. Qwen3.6 35B 모델을 5090에 로드하여 안정적인 구동 환경을 마련했습니다.

2. 필수 개선 요소: 실험의 신뢰성을 확보하기 위해 여러 실질적인 디테일을 조정했습니다.

• 독립된 작업 공간(Copied Workspaces): 에이전트가 실제 라이브 리포지토리를 건드리지 않도록 평가를 항상 복사된 환경에서 진행했습니다.
• 결정론적 클린업: 모델의 추론 외에 goimports, gofmt, go mod tidy와 같은 표준 개발 도구를 강제 실행하여 일관성을 확보했습니다.
• 타임아웃 설정: go test -timeout을 적용하여, 동시성 버그로 인해 무한정 대기하는 상황(deadlock)을 방지하고 평가를 안정화했습니다. (이는 매우 중요했던 개선 사항입니다.)
• 구조화된 수리 과정: Gandalf의 파일 수정 시 자유 형식의 채팅 방식 대신 JSON 파일을 이용한 기계가 파싱 가능한 방식으로 에디트를 진행하도록 변경하여 정밀도를 높였습니다.

💡 결론 및 함의점

GPT-5.4 Codex는 여전히 최고 성능을 보이지만, 본 연구 결과는 로컬 환경에서 구동되는 스캐폴드화되고 라우팅된 프로세스가 일상적인 코딩 작업(routine work)에서는 충분히 신뢰할 수 있는 기본 경로가 될 수 있음을 보여줍니다. 이는 API 호출 비용과 속도 제한(rate limits) 측면에서 개발자에게 매우 큰 이점을 제공합니다.