코딩 에이전트에게 "정말 확실해?"라고 묻는 것에 지쳐서, 로컬 증거 확인 도구(local evidence checker)를 만들었습니다

저는 코딩 에이전트(coding agents)를 사용하면서 계속해서 같은 루프에 빠지는 바람에 Plumbref를 만들었습니다.

에이전트들은 저장소(repo)에 대해 자신 있게 답변을 내놓지만, 저는 다음과 같은 질문을 계속 던져야만 했습니다:

• "정말 확실해?"
• "다른 경로도 확인해 봤어?"
• "하위 소비자(downstream consumers)는 어떻게 돼?"
• "이게 정말 거기서만 사용되는 게 맞아?"

문제는 에이전트가 코드를 읽지 못하는 것이 아니었습니다. 문제는 답변이 항상 명확한 검증 경로(verification trail)와 함께 제공되지 않는다는 점이었습니다.

Plumbref는 코딩 에이전트가 답변을 돌려주기 전에 저장소 답변을 확인할 수 있도록 돕는 로컬 우선 MCP 서버(local-first MCP server)입니다.

이 도구는 에이전트가 다음과 같은 작업을 수행할 수 있게 합니다:

• 답변을 주장(claims) 단위로 분해
• 저장소(repository) 검색
• 제한된 소스 스니펫(source snippets) 읽기
• 모순(contradictions) 확인
• 주장을 지원됨(supported), 너무 광범위함(too_broad), 불확실함(uncertain), 모순됨(contradicted), 찾을 수 없음(not_found), 또는 검증 불가능함(not_verifiable)으로 분류

Plumbref는 로컬에서 실행됩니다:

• 호스팅 서비스 없음
• 저장소 업로드 없음
• 데이터베이스 없음
• 벡터 스토어(vector store) 없음
• 모델 API 키 필요 없음

현재 이 프로젝트에는 MCP 서버, CLI, Markdown/JSON 보고서, ripgrep 기반 저장소 검색, 제한된 스니펫, 광범위한 주장 탐지(broad-claim detection), 그리고 흐름 설명(flow explanations), 필드 마이그레이션(field migrations), 변경 영향(change impact), 하위 소비자(downstream consumers), 외부 통합(external integrations)을 위한 내장 템플릿이 포함되어 있습니다.

아직 초기 단계이지만, 저는 자체 저장소에서 직접 사용(dogfooding)해 보고 있으며, 실제 코드베이스에서 코딩 에이전트를 사용하는 분들의 피드백을 받고 싶습니다.

저장소: https://github.com/ftaboadac/plumbref