공개 사항: 제가 작성자입니다. 두 도구 모두 무료이며, GPL-3.0 라이선스(사용자의 코드는 커버하지 않음)를 따릅니다. 유료 등급은 없습니다. 요약하자면 (TL;DR): DeepSeek, GLM 및 Kimi용으로 제작된 Rust 기반의 터미널 코딩 에이전트인 Rusta와 로컬 코드 그래프 MCP 서버인 Devscriptor를 사용하여 SWE-bench Multilingual의 75–81%를 한 번의 시도로 해결했습니다. DeepSeek 실행 비용은 전체 300개 작업을 기준으로 $13.98이었습니다. 총 900개의 실행 결과가 공개되었습니다. | 모델 | 해결률 | 95% 신뢰구간 (CI) | 비용 |
|:--|:--|:--|:--|
| DeepSeek V4.1-Flash | 81.3% (244/300) | 76.5–85.3% | 총 $13.98, API 이용 |
| GLM-5.3 | 78.7% (236/300) | 73.7–82.9% | GLM 코딩 플랜 최대치 |
| Kimi K2.8 Preview | 75.3% (226/300) | 70.2–79.9% | Kimi 코드 구독|
DeepSeek의 경우 작업당 5센트 미만이며, 967M 입력 토큰 중 97.8%가 캐시 히트였습니다. 공식 하네스(swebench 5.0.2)를 사용하여 최대 노력으로 진행했으며, 웹 접근은 없었고, git 기록은 기본 커밋에서 잘렸습니다. 모든 모델이 모든 언어에서 50%를 달성했습니다 (Go가 가장 어려웠습니다). DeepSeek V4.1-Flash(MIT)와 GLM-5.3는 오픈 가중치(open weights)를 가지고 있지만, Kimi K2.8 Preview는 그렇지 않습니다. 이 실행 결과들은 공급업체의 API를 사용했습니다. 전용 에이전트가 필요한 이유: 일반적인 OpenAI 호환 클라이언트는 종종 이 모델들이 생성하는 추론 과정(reasoning)을 턴(turn) 사이에 누락시키고 (도구를 사용하는 요청에 대한 DeepSeek은 HTTP 400을 반환함), 샘플링 또는 노력 필드를 각 공급자가 다르게 처리합니다. Rusta는 각 API를 네이티브로 지원하여 추론 과정(thinking)을 보존하고, 공급자별 노력 및 샘플링, 명시적인 출력 제한까지 처리합니다. OpenAI 호환 엔드포인트라면 어떤 것이든 작동하며, 로컬 vLLM도 포함되어 추론 과정을 보존할 수 있습니다.
Devscriptor는 Rusta뿐만 아니라 Claude Code, Cursor, Cline 또는 모든 MCP 클라이언트와 함께 작동합니다:
- 저장소(repo)를 하나의 SQLite 파일에 지식 그래프로: 26개 언어 및 프레임워크, 파일 전반의 호출, 상속 및 임포트가 해결되며, 증분 스캔과 워처(watcher)를 통해 최신 상태를 유지합니다.
- 75개의 MCP 도구: 이 중 38개가 LSP 기반이며 (21개 언어 서버 포함),
- 로컬 임베딩 모델을 사용한 시맨틱 검색, API 키 불필요
- 세션 간에 지속되는 에이전트 메모리 (결정, 표준, 과거 실패)
- 텔레메트리가 없고 백엔드도 없습니다. 모델만 캐시되면 오프라인으로 작동합니다.
75개의 도구는 되지만, 컨텍스트 내의 75개 스키마는 아닙니다. Rusta는 도구 테이블에서 찾고 코드를 따르는 12가지 항목만 유지하며 (검색, 정의 및 참조, 관계, 인덱스 상태, Context Graph), 전체 스키마 크기의 약 6분의 1에 불과합니다. 나머지 63개는 이름과 한 줄 설명으로 나열되며, 모델이 select_tools를 통해 하나를 로드할 때까지 유지됩니다. Claude Code의 경우, 도구 검색은 기본적으로 MCP 도구를 지연(defer) 처리하며, Devscriptor의 서버 명령어는 동일한 12가지 항목을 먼저 로드하도록 지정합니다. (이는 Rusta 1.0.1 버전이며, 벤치마크는 모든 75개를 온디맨드로 유지했던 1.0.0 버전을 사용했습니다.)
숫자가 보여주지 않는 것들 (결과 페이지에 각각 포함됨):
- Devscriptor가 자체적으로 추가하는 가치: Devscriptor 없이 동일한 작업을 실행할 수 없습니다.
- 다른 에이전트 또는 공식 리더보드와의 순위 비교: 다른 에이전트, 더 새로운 모델, 더 큰 예산이 필요합니다.
- 제로 오염(Zero contamination): 수정 사항은 공개되어 있으며, 이미지에 남겨진 빌드/테스트 잔여물은 일부 수정 사항이 어디에 속하는지 암시했을 수 있습니다 (최악의 경우 3~9점).
Linux, macOS 및 Windows용 단일 바이너리.