최대 약 82k LOC(Lines of Code)에 달하는 저장소 내 6/6개의 잘 로컬라이즈된(well-localized) 작업에 대해, 콜드(cold) "claude -p" 실행보다 7%~75% 더 저렴한 오픈소스 AI 코딩 에이전트를 구축했습니다. 가장 큰 차이점은 다음과 같습니다: 콜드 에이전트: $6.83, 207턴 vs AutoDev Studio: 동일한 버그에 대해 약 $1.70. (패배하는 사례를 포함한) 전체 벤치마크는 README에 있습니다. 무엇이 다를까요? 대부분의 AI 코딩 에이전트는 변경 사항이 어디에 속하는지 파악하기 위해 매 작업마다 저장소를 처음부터 다시 탐색합니다. AutoDev Studio는 해당 로컬라이제이션(localization) 비용을 한 번만 지불합니다. 이 시스템은 저장소를 흡수(ingest)하고 정적 분석(static analysis)과 로컬 임베딩 인덱스(local embedding index)를 사용하여 지속적인 지식 베이스(knowledge base)를 구축합니다. 이후의 모든 작업은 해당 지식을 재사용하여, 로컬라이제이션을 또 다른 콜드 검색이 아닌 조회(lookup)로 전환합니다.

주요 기능:

• PM 에이전트: 명확한 질문을 던지고 티켓(ticket) 초안 작성
• Dev 에이전트: 격리된 브랜치(isolated branch)에서 코드 작성
• QA: 테스트 실행
• 다른 모델 제품군(model family)이 diff 검토 (작성자 ≠ 검토자)
• 필요 시 제한된 수정 루프(bounded revise loop) 수행
• 실제 GitHub PR 오픈
• 실시간 칸반(Kanban) 보드 포함 및 티켓/에이전트당 토큰 사용량과 비용 추적

승리하지 못하는 경우:
매우 작고 찾기 쉬운 수정 사항은 파이프라인 오버헤드(pipeline overhead)로 인해 싱글샷(single-shot) 에이전트가 더 저렴할 수 있습니다. 하나의 복잡한 교차 기능(cross-cutting) 버그에 대해서는 베이스라인보다 저렴하지만 더 좁은 범위의 수정안을 생성했습니다.

기타 특징:

• 프로바이더 불가지론적(Provider agnostic) (Anthropic, Claude Code, OpenAI 호환 API, Groq, Gemini, xAI, OpenRouter, Ollama 등)
• Groq의 무료 티어 + 로컬 임베딩을 사용하여 기본적으로 완전히 무료/오프라인으로 실행 가능
• FastAPI + SQLite
• 직접 제작한 UI
• 테스트 + CI
• MIT 라이선스

레포지토리 (스크린샷 + 전체 벤치마크): https://github.com/krishagarwal314/autodev-studio
어떠한 피드백, 비판, 또는 기여도 환영합니다. 아키텍처나 벤치마킹에 대한 질문에 기꺼이 답변하겠습니다.