900회 이상의 다운로드, 1개의 스타, 1개의 댓글: 오픈 소스 보안 도구를 출시하며 배운 점

2주 전, 저는 AI 에이전트 보안을 위한 오픈 소스 정적 분석 도구인 AgentGuard를 출시했습니다. 데이터가 말해주는 결과는 다음과 같습니다.

수치 (The Numbers)

• PyPI 다운로드: 월 920회 (상승 중)
• GitHub 스타 (Stars): 1개 (2ndNatureAI님 감사합니다)
• Dev.to 조회수: 3개의 기사 통틀어 51회
• Dev.to 댓글: 1개 (mcpsafe.io 팀이 남겨준 진정으로 통찰력 있는 댓글)
• 외부 PR (Pull Requests): 2개 오픈됨, 모두 병합 가능 (awesome-mcp-servers, awesome-ai-agents)
• 벤치마크 (Benchmark): 28개 샘플에 대해 탐지율 100%, 오탐률 (False Positives) 0%

효과가 있었던 점

PyPI 발견 가능성 (Discoverability)은 실재합니다. pip install 흐름은 사람들이 단순히 GitHub뿐만 아니라 PyPI 검색을 통해 패키지를 찾는다는 것을 의미합니다. 1개의 스타에 920회의 다운로드는 "발견"에서 "스타"로 이어지는 전환율이 낮다는 것을 의미하지만, 설치 대비 스타 비율은 개발자 도구로서 일반적인 수준입니다.

Dev.to는 트래픽을 유도합니다. "정규 표현식 그 이상 (Beyond Regex)"이라는 기술적 심층 분석 글이 44회의 조회수를 기록하며 가장 많은 조회수를 얻었습니다. 개발자들은 마케팅이 아닌 기술적 깊이를 원합니다. MCP 보안 가이드는 보완적인 도구를 만드는 동료로부터 실제 댓글을 받기도 했습니다.

OWASP ASI Top 10은 강력한 포지셔닝입니다. 오픈 소스 도구 중에서 10가지 카테고리를 모두 다루는 곳은 아직 없습니다. 이러한 차별화는 중요합니다.

효과가 없었던 점

Awesome-list PR은 느립니다. 두 개의 PR을 제출했고 모두 병합 가능한 상태였지만, 일주일이 지나도록 병합되지 않았습니다. 이러한 리스트의 관리자들은 그들만의 우선순위가 있습니다. 실패라기보다는 인내심이 필요한 부분입니다.

커뮤니티 기여가 전무합니다. 외부 기여자로부터의 PR이 없습니다. good-first-issues (Go 지원, Java 지원)가 준비되어 있지만 아무도 이를 가져가지 않았습니다. 기여자들이 나타나기 전까지 프로젝트의 가시성 (Visibility)을 더 높일 필요가 있습니다.

0개 스타 문제는 자기 강화적입니다. 개발자들은 도구를 사용해 보기 전에 스타 수를 확인합니다. 1개의 스타는 "신뢰"를 나타내지 못합니다. 이것이 새로운 오픈 소스 프로젝트가 깨뜨리기 가장 어려운 고리입니다.

내가 다르게 했을 것이라면

1. 비교 표와 함께 출시하세요. AI 에이전트 보안을 위한 AgentGuard vs. Semgrep vs. CodeQL 비교가 필요합니다. 개발자들은 무언가를 설치하기 전에 "왜 그냥 Semgrep을 쓰지 않아야 하는가?"를 알고 싶어 합니다.

2. 첫날부터 GitHub Action을 배포하세요. action.yml은 v0.3.4에서 추가되었는데, 이는 2주나 늦은 것이었습니다. CI/CD 통합은 개발자들이 보안 도구에서 가장 먼저 찾는 1순위 요소입니다.

3. "AI 에이전트를 공격하는 방법"에 대한 포스트를 먼저 작성하세요. 취약점을 먼저 보여준 다음, 도구를 보여주세요. MCP 보안 가이드가 가장 좋은 성과를 거둔 이유는 제품이 아닌 문제(problem)를 먼저 제시했기 때문입니다.

기술적 교훈 (Technical Lessons)

가장 큰 엔지니어링 실수는 내 코드 자체를 스캔한 것이었습니다. AgentGuard의 정규 표현식 (Regex) 규칙은 eval\( 및 os\.system과 같은 패턴을 매칭하는데, 이 패턴들은 규칙 정의 자체에도 등장합니다. 첫 번째 셀프 스캔 결과: 94개의 탐지 결과, 그 중 69개가 심각(critical) 단계였습니다. 모두 오탐 (False Positives)이었습니다.

해결책: 기본적으로 rules/ 디렉토리와 테스트 파일은 건너뛰도록 설정했습니다. 명시적인 테스트 스캔을 위해 --include-tests 옵션을 추가했습니다. 그 결과 셀프 스캔 결과가 94개에서 2개(setup.py 내의 허용 가능한 패턴)로 줄었습니다.

교훈: 당신의 보안 도구는 비명을 지르지 않고도 스스로를 스캔할 수 있어야 합니다. 만약 스스로를 스캔하지 못한다면, 사용자들도 자신의 코드에 그 도구를 신뢰하며 사용할 수 없을 것입니다.

향후 계획

다음 마일스톤은 AST 기반의 오염 추적 (AST-based taint tracking) (v0.4.0)입니다. 정규 표현식 (Regex)은 큐레이션된 벤치마크에서는 100%의 성능을 보여주지만, 실제 코드베이스에는 정규 표현식이 볼 수 없는 패턴들이 존재합니다:

# 정규 표현식은 이를 추적할 수 없습니다
template = "Answer: {input}"
prompt = template.format(input=user_data)

이를 위해서는 추상 구문 트리 (AST)를 파싱하고, 변수 할당을 추적하며, 소스(source)에서 싱크(sink)까지의 데이터 흐름을 따라가야 합니다. Semgrep 및 CodeQL과 동일한 접근 방식이지만, LLM 특화 싱크(openai.chat.completions.create, messages, prompt)에 특화된 방식입니다.

함께 지켜보거나 기여하고 싶다면: github.com/dockfixlabs/agentguard

AgentGuard는 MIT 라이선스입니다. pip install dfx-agentguard로 설치하세요.