서론

"Claude Code로 만든 AI 에이전트를 Claude 스스로 리뷰하게 하면 어떻게 될까?"

이번에 AI 도입 프로세스를 구조화하여 재현 가능한 WBS(Work Breakdown Structure)를 자동 생성하는 오픈 소스 프로젝트 AI-Agent-Dev-WBS-OS를 Claude Code를 사용하여 개발 및 공개했습니다. 이 기사에서는 구현 내용 그 자체보다는, 개발 후 진행한 "Claude에 의한 자기 평가"라는 조금 독특한 검증 프로세스를 중심으로 소개합니다.

• 리포지토리: https://github.com/codebay88/AI-Agent-Dev-WBS-OS
• 라이선스: MIT

무엇을 만들었는가

이 프로젝트는 성질이 다른 두 종류의 AI 에이전트 조합으로 구성되어 있습니다.

AI 도입 지원 에이전트 (프로토콜형)

모호한 목적이나 과제를 Claude의 추론 능력을 사용하여 "풀 수 있는 형태"로 구조화하는 역할입니다. Python 코드로 구현하지 않았으며, .claude/agents/ 하위의 에이전트 정의 파일(역할 정의와 시스템 프롬프트 그 자체)이 구현체입니다. 모호한 표현("적당히", "알아서" 등)을 검출하면 HITL(Human-in-the-Loop, 인간에 의한 확인)을 발동하는 메커니즘을 갖추고 있습니다.

AI WBS 작성 에이전트 (코드형)

구조화된 목적 정보를 받아, F10(목적 구조화)부터 F90(최종 출력 생성)까지 9단계의 파이프라인을 통해 실제로 WBS를 자동 생성합니다. 이 에이전트는 표준 라이브러리만으로 동작하는 결정론적인 Python 코드입니다.

MECE 체크는 코사인 유사도(Cosine Similarity), 계층 생성은 Union-Find를 사용하여 모두 외부 라이브러리에 의존하지 않고 직접 구현했습니다. API 호출이 필요한 것은 F10뿐이며, F20 이후는 완전히 오프라인으로 재현 가능합니다.

본론: Claude에게 자신의 코드를 평가하게 해보았다

한 차례 구현이 끝난 단계에서, "이 코드가 정말로 공개 및 판매할 가치가 있는 품질인가"를 개발을 도와준 Claude 스스로에게 독립적으로 리뷰하도록 했습니다. 자기 신고식 README를 그대로 믿는 것이 아니라, 실제로 소스 코드를 읽게 하고 일부는 실행 환경에서 구동하여 검증하게 했습니다.

평가 결과의 요약은 README에도 그대로 실려 있습니다.

Claude에 의한 독립 리뷰 요약: 실제 소스 코드를 읽고 일부는 Claude의 환경에서 실행하여 검증한 결과, "공개 및 판매할 가치가 있는 품질"이라고 판단(Yes). 안전 설계(HITL · 감사 로그)도 WBS대로 구현되어 있음을 확인 완료.

긍정적인 평가만 올리고 끝내지 않은 것이 포인트입니다. 동일한 리뷰 내에서 Claude는 다음과 같은 한계점도 자기 신고하고 있습니다.

• Phase 8~10(전개 · 자율 운용 관련)의 "실행 액션"은 코드 내 주석에 명시된 대로 결정론적 시뮬레이션이며, 실제 인프라에 대한 조작은 수행하지 않음
• "자기 최적화 지수(opt_avg=0.9119)"는 실제 측정된 학습 효과가 아니라, 규칙 기반(Rule-based) 채점표를 기계적으로 적용한 분류 스코어임
• 리뷰 중에 발견된 버그(환경 변수명 불일치로 인한 인증 에러)를 실제로 수정함

이는 겸손도 과장도 아니며, "안전하게 멈춰 서서 인간의 승인을 구하는 뼈대는 진짜지만, 그 너머의 자율 실행 · 자기 학습의 내용은 아직 플레이스홀더(Placeholder)이다"라는 구현의 실태를 그대로 언어화한 것입니다.

왜 한계까지 공개했는가

솔직히 긍정적인 평가만을 전면에 내세우고 싶은 마음도 있었습니다. 하지만 기술 기사나 OSS의 README에서는 "할 수 없는 것"을 명시하고 있는 프로젝트가 결과적으로 더 신뢰받기 쉽다고 생각합니다.

이번 케이스에서는 Claude 스스로에게 "부풀리지 않고" 리뷰하게 함으로써, 개발자(나)의 주관을 개입시키지 않는 어느 정도 객관성 있는 품질 평가를 얻을 수 있었습니다. 물론 이것은 완전한 제3자 감사라기보다는 어디까지나 샘플링 리뷰입니다. 다만, "AI가 만들게 한 코드를 동일한 AI에게 검품하게 한다"는 공정 자체가 현재의 AI 에이전트 개발에서 재현하기 쉬운 품질 보증의 한 방법이 될 수 있지 않을까 하는 것이 이 기사에서 가장 전달하고 싶은 포인트입니다.

덤: CI도 같은 느낌으로 고쳤다

공개 직후, GitHub Actions의 Tests 배지가 빨간색으로 변해 있었습니다. 원인은 사소한 부분이었는데, 워크플로우가 pytest tests/ -v라는 단순 호출로 되어 있어, CI의 클린한 환경에서는 sys.path

에 리포지토리 루트(repository root)가 포함되지 않아 ModuleNotFoundError: No module named 'src'

가 발생하고 있었습니다. python -m pytest tests/ -v로

변경하여 해결했습니다. 로컬에서 작동하던 것이 CI에서 작동하지 않는, 전형적인 "환경 차이"의 한 사례로서 이 부분도 함께 공유합니다.

요약

• Claude Code로 "AI 도입 지원 에이전트(프로토콜형)"와 "AI WBS 작성 에이전트(코드형)"의 2층 구조 OSS를 구현 및 공개했다
• 개발 후, Claude 스스로 독립적인 리뷰를 수행하게 하여, 장점뿐만 아니라 한계점도 포함하여 README에 공개했다
• "AI에게 만들게 하고, 동일한 AI에게 검품하게 하는" 프로세스는 품질의 투명성을 보장하는 하나의 유효한 수단으로서 기능했다

코드와 README(영어/일본어)는 아래에서 공개하고 있습니다. 관심이 있다면 꼭 확인해 보세요.

Discussion