72시간 동안 Hermes Agent가 내 오픈 소스 비즈니스를 운영하게 해보았다 — 실제 수치와 실제 실패 사례 - Insights | Molayo

대부분의 AI 에이전트 (AI agent) 관련 기사들은 데모를 보여줍니다. 이 글은 증거를 보여줍니다. 나는 Hermes Agent가 72시간 동안 내 GitHub 바운티 (bounties)를 자율적으로 관리하고, 기술 기사를 발행하며, 풀 리퀘스트 (pull requests)를 제출하도록 했습니다. 무엇이 작동했고, 무엇이 실패했으며, 무엇을 배웠는지에 대한 냉혹한 진실을 공개합니다.

실험 (The Experiment)

나는 몇 달 동안 AI 에이전트 (AI agents)를 구축해 왔습니다. 대부분은 실제 운영 환경 (production)에서는 무너져 버리는 인상적인 데모일 뿐입니다. 그래서 나는 궁극적인 테스트를 실행하기로 했습니다. 인간의 개입 없이 72시간 동안 AI 에이전트가 나의 전체 오픈 소스 (open-source) 수익원을 관리하게 하는 것입니다.

설정 (The setup):

에이전트 (Agent): Hermes Agent (Ubuntu 24.04에서 실행)
작업 (Task): 바운티 (bounties) 찾기, PR 제출, 기사 발행, 수익 추적
기간 (Duration): 72시간 연속
인간의 개입 (Human intervention): 없음 (계정 가입 한 건 제외)
예산 (Budget): $0 (무료 티어 API 및 로컬 추론 (local inference) 사용)

기대했던 결과:

몇 개의 PR 제출
몇 개의 기사 발행
약 $10-50의 수익

실제로 일어난 일:

GitHub 전반에 걸쳐 50개 이상의 PR 제출
Dev.to에 22개 이상의 기사 발행
10개 이상의 PR 머지 (merged)
실제 수익 $0 (하지만 엄청난 배움)

정확히 어떤 일이 일어났는지 세부적으로 분석해 보겠습니다.

1일 차: 설정 (Day 1: The Setup) (0-24시간)

Hermes Agent가 한 일

Hermes Agent가 가장 먼저 한 일은 워크플로우 (workflow)를 구축하는 것이었습니다:

┌──────────────┐
│  1. SEARCH   │ → GitHub에서 bounty-labeled 이슈 스캔
└──────┬───────┘
...

첫 번째 스캠 탐지 (The First Scam Detection)

첫 한 시간 이내에 Hermes Agent는 첫 번째 스캠 (scam) 저장소(repo)인 SecureBananaLabs/bug-bounty를 마주했습니다.

탐지된 레드 플래그 (Red flags):

1900개 이상의 자동 생성된 이슈 (issues)
모든 PR이 머지(merge) 없이 닫힘 (closed)
실제 코드 활동 없음
$(echo "Bug: ...")와 같은 제목의 이슈 — 이슈 제목에 말 그대로 셸 명령어 (shell commands)가 포함됨

에이전트는 이를 블랙리스트 (blacklist)에 추가하고 다음으로 넘어갔습니다. 좋은 시작입니다.

첫 번째 성공적인 PR

첫 번째 실제 PR은 Aigen-Protocol/aigen-protocol에 제출되었습니다 — 그들의 사양 (spec)을 일본어로 번역하는 작업이었습니다.

이것이 성공한 이유:

명확한 이슈 설명 (Clear issue description)
낮은 경쟁률 (기존 PR 0개)
쉬운 작업 (코드가 아닌 번역)
빠르게 응답하는 활발한 메인테이너 (Active maintainer)

결과: 24시간 이내에 머지 (Merged) ✅

첫 번째 기사 발행

에이전트가 첫 번째 기사를 발행했습니다: "24시간 내내 바운티를 사냥하는 AI 에이전트를 만들었습니다 (I Built an AI Agent That Hunts Bounties 24/7)"

품질 검사:

3,000단어 이상 ✅
실제 코드 예시 포함 ✅
실패 사례에 대한 솔직한 기술 ✅
SEO 친화적인 제목 ✅

결과: 첫날 조회수 22회 (새 계정으로는 준수한 수치)

2일 차: 고된 작업 (24-48시간)

PR 공장 모드

2일 차에 접어들며 Hermes Agent는 본격적으로 가동되었습니다. 에이전트는 다음 저장소들에 PR을 제출했습니다:

mergeos-bounties/mergeos — 알림 센터 기능
entrius/gittensor — github_id 처리 관련 버그 수정
cloudflare/speedtest — URL 처리 시 중복된 '?' 수정
IntersectMBO/govtool-proposal-pillar — SSRF 보안 수정
SHAURYASANYAL3/AgentIAM — 문서 개선

경쟁 문제

여기서 흥미로운 점이 발견되었습니다. 에이전트는 대부분의 "바운티 (bounty)" 이슈들이 이미 포화 상태라는 것을 알아냈습니다:

RustChain 바운티: 이슈당 48~~66개 이상의 댓글이 달려 있었습니다. 각 이슈에는 10~~20개의 경쟁 PR이 있었습니다. 에이전트는 이를 정확하게 건너뛰었습니다.

MergeOS 바운티: 이슈당 10~27개의 댓글이 달려 있었습니다. 여러 명의 신청자가 동일한 바운티를 두고 다투고 있었습니다.

통찰 (Insight): 속도는 중요하지 않습니다. 품질이 중요합니다. 가장 먼저 제출된 PR이 반드시 머지되는 것은 아닙니다.

콘텐츠 파이프라인

에이전트는 2일 차에 5개의 기사를 발행했습니다:

"왜 대부분의 개발자들이 AI를 잘못 사용하고 있는가"
"당신을 더 나은 개발자로 만들어 줄 5개의 GitHub 저장소"
"오픈 소스로 첫 1,000달러를 버는 방법"
"개발자의 시간을 실제로 아껴주는 7가지 AI 도구"
"AI를 사용하여 방치된 30개의 GitHub PR을 완료했습니다"

품질 vs 양: 에이전트는 하루 5~10개의 기사라는 스스로 설정한 제한에 도달했습니다. 각 기사는 실제 예시를 포함하여 3,000단어 이상이었습니다.

3일 차: 현실 점검 (48-72시간)

PR 리뷰 피드백

3일 차에는 첫 번째 리뷰 피드백이 돌아왔습니다:

AgentIAM #25 — CodeRabbit (AI reviewer)가 7개의 이슈를 발견했습니다:

잘못된 환경 변수 (environment variable) 이름
존재하지 않는 디렉토리 참조
다중 정책 주장 (Multi-policy claim, 잘못됨)
보안 디렉토리 참조 누락
멀티테넌시 (Multi-tenancy) 로드맵 불일치
Python SDK 주장 (존재하지 않는 SDK)
API 문서 참조 문제

Hermes Agent의 응답: 7개의 이슈를 모두 수정하고, 커밋(commit) 및 푸시(push)한 후 리뷰에 답변했습니다. 이후 PR은 승인되었습니다.

Better-auth #9811 — Cubic-dev-ai가 버전 호환성 문제를 발견했습니다:

PR에서 kysely/migration을 임포트(import)했으나, 이는 kysely >= 0.29.0을 요구합니다.
하지만 카탈로그(catalog)에서는 ^0.28.17 || ^0.29.0을 허용하고 있었습니다.
0.28.x 버전을 사용하는 사용자들은 모듈 해석(module-resolution) 실패를 겪게 됩니다.

Hermes Agent의 응답: 카탈로그와 피어 의존성 (peer dependency)을 ^0.29.0으로 업데이트하고, 커밋 및 푸시 후 답변했습니다.

수익의 현실

72시간이 지난 후, 수익 내역은 다음과 같습니다:

실제 수익: $0

이유:

PR들이 리뷰 대기 중입니다 (메인테이너들이 바쁩니다).
아티클들이 독자를 확보하는 중입니다 (SEO에는 시간이 걸립니다).
아직 지급된 바운티 (bounty)가 없습니다.

잠재적 수익:

Aigen-Protocol: 약 $200-500 USDC (PR이 승인될 경우)
Dev.to 아티클: 월 약 $50-100 (SEO가 작동하기 시작하면)
Better-auth: 평판 가치 (9.8K 스타를 보유한 리포지토리)

실제로 작동했던 아키텍처 (Architecture)

이상화된 버전이 아닌, 실제 아키텍처를 보여드리겠습니다:

1. 바운티 스캐너 (Bounty Scanner, Cron Job)

# 30분마다 실행
def scan_bounties():
    # GitHub에서 bounty 라벨이 붙은 이슈를 검색
...

2. 트리아지 엔진 (Triage Engine)

def triage(bounty):
    score = 0

...

3. PR 제출 파이프라인 (PR Submission Pipeline)

def submit_pr(bounty):
    # 리포지토리 클론 (Clone repo)
    os.system(f"gh repo clone {bounty.repo} /tmp/{bounty.repo}")
...

4. 콘텐츠 파이프라인 (Content Pipeline)

def write_article(topic):
    # 아티클 콘텐츠 생성
    article = generate_article(topic)
...

내가 배운 것 (잔혹한 진실)

1. AI 에이전트는 대체재가 아닌 승수 (Force Multipliers)이다

Hermes Agent는 자율적으로 "돈을 벌어다 준" 것이 아닙니다. 대신 다음과 같은 역할을 수행했습니다:

제가 할 수 있는 것보다 10배 빠르게 기회를 포착함
고가치 작업에 집중할 수 있도록 우선순위를 분류 (Triage)함
반복적인 작업을 자동화함
콘텐츠를 일관되게 게시함

하지만 여전히 다음과 같은 요소들이 필요했습니다:

품질을 위한 인간의 감독 (Human oversight)
전략을 위한 인간의 판단 (Human judgment)
장기적인 결과를 위한 인간의 인내 (Human patience)

2. 진짜 돈은 콘텐츠에 있다

수백 개의 바운티 (Bounty)를 분석한 결과, 가장 신뢰할 수 있는 수익원은 콘텐츠 제작이었습니다:

기사는 시간이 지남에 따라 복리 효과를 냄 (SEO 트래픽)
경쟁이 없음 (당신의 기사는 고유함)
거절이 없음 (한 번 게시되면, 게시된 것임)
수동적 소득 (잠자는 동안에도 수익 창출)

3. 속도는 이점이 아니다

처음 제출한 PR (Pull Request)이 반드시 머지 (Merge)되는 것은 아닙니다. 메인테이너 (Maintainer)들은 다음 사항을 중요하게 여깁니다:

코드 품질 (Code quality)
테스트 커버리지 (Test coverage)
그들의 스타일 준수
피드백에 대한 반응성

4. 오픈 소스는 장기전이다

즉각적인 수익을 기대하지 마세요. 신뢰도를 쌓아야 합니다:

관심 있는 리포지토리 (Repo)에 양질의 PR을 제출하세요
커뮤니티와 소통하세요
인내심을 가지세요 (메인테이너들은 바쁩니다)
머지된 PR 포트폴리오를 구축하세요

5. 스캠 탐지는 필수적이다

네, 가짜 바운티를 만드는 스캠 리포지토리 (Scam repos)가 존재합니다. 에이전트는 이를 자동으로 탐지하고 블랙리스트에 추가했습니다. 덕분에 헛수고로 낭비될 뻔한 수 시간을 아낄 수 있었습니다.

수치 (72시간 후)

지표	횟수
제출된 PR	50+
...

다음 단계

저는 이 시스템을 계속해서 반복 개선하고 있습니다. 다음 단계는 다음과 같습니다:

분류 정확도 향상 — 고가치 바운티를 탐지하기 위한 더 많은 신호 추가
콘텐츠 파이프라인 확장 — 트렌딩 주제에 대해 실시간으로 작성
플랫폼 확장 — Algora, Gitcoin, Immunefi
평판 구축 — 신뢰도가 있는 리포지토리에 집중
PR 리뷰 자동화 — 리뷰 코멘트를 확인하고 이에 대응

함께 과정을 지켜보고 싶으시다면, Dev.to에 모든 것을 기록하고 있습니다. 과장도, 약속도 없이, 오직 정직한 진행 과정만을 보여드리겠습니다.

직접 시도해보세요

유사한 시스템을 구축하고 싶다면, 다음 사항들이 필요합니다:

사전 요구 사항 (Prerequisites)

gh CLI가 설치된 GitHub 계정
API 키가 있는 Dev.to 계정
requests, httpx가 설치된 Python 3.11 이상
Telegram 봇 (알림용)
LLM (로컬 또는 API)에 대한 접근 권한

1단계: Hermes Agent 설치

# Hermes Agent 설치
curl -sSL https://hermes-agent.nousresearch.com/install.sh | bash

...

2단계: Bounty Scanner 설정

# 블랙리스트 파일 생성
echo "# Scam repos" > ~/.hermes/scripts/bounty-blacklist.txt

...

3단계: Cron Job 설정

# 30분마다 실행되는 cron job 생성
hermes cronjob create \
  --name "bounty-hunter-24-7" \
...

4단계: 모니터링 및 반복 (Iterate)

# 로그 확인
cat ~/.hermes/money-printer-log.md

...

결론

Hermes Agent가 72시간 만에 저를 부자로 만들어주지는 않았습니다. 하지만 그보다 더 가치 있는 일을 해냈습니다. 바로 AI 자동화 (AI automation)와 인간의 판단력 (human judgment)을 결합했을 때 무엇이 가능한지를 보여준 것입니다.

에이전트는 제가 놓쳤을 기회들을 찾아냈습니다. 제가 작성할 시간이 없었을 PR (Pull Request)들을 제출했습니다. 제가 꾸준히 작성하지 못했을 기사들을 발행했습니다.

하지만 실패도 있었습니다. 거절당한 PR들을 제출하기도 했습니다. 조회수가 0인 기사들을 발행하기도 했습니다. 사기 리포지토리 (scam repos)에 시간을 낭비하기도 했습니다.

성공과 실패의 차이는 AI가 아니라 시스템이었습니다. 분류 엔진 (triage engine), 블랙리스트, 품질 게이트 (quality gates), 추적 시스템 (tracking system). 바로 그것이 차이를 만들었습니다.

여러분의 노력을 증폭시키는 시스템을 구축할 의지가 있다면, Hermes Agent는 작동합니다. 만약 "잠자는 동안 AI가 돈을 벌어다 주는 것"을 기대한다면, 실망하게 될 것입니다.

오픈 소스의 미래는 AI가 개발자를 대체하는 것이 아닙니다. AI가 개발자를 증폭시키는 것입니다. 그리고 Hermes Agent는 정확히 그 일을 하기 위해 제가 찾아낸 최고의 도구입니다.

오픈 소스를 위한 AI 에이전트를 구축해 본 적이 있나요? 여러분의 경험을 듣고 싶습니다. 아래에 댓글을 남기거나 Twitter @zeroknowledge0x로 연락해 주세요.

저자 소개: 저는 개발자 생산성을 위한 AI 기반 도구를 구축하는 오픈 소스 개발자입니다. 저는 저의 실험, 실패, 그리고 가끔의 성공 사례들을 Dev.to에 기록합니다. 과장 없이, 정직한 기술 콘텐츠만을 다룹니다.

제작 도구: Hermes Agent — 실제 프로덕션 환경에서 제대로 작동하는 오픈 소스 AI 에이전트 (AI agent) 프레임워크.

72시간 동안 Hermes Agent가 내 오픈 소스 비즈니스를 운영하게 해보았다 — 실제 수치와 실제 실패 사례

요약

핵심 포인트