최근 저는 제 작업 결과를 공식적인 방식으로 발표해야 했기에, 더 넓은 독자층과 이 자료를 공유하기로 결정했습니다.

AI 에이전트(AI agents)를 활용한 코딩은 매우 빠르게 진행될 수 있습니다. 과제는 코드 생성 그 자체가 아니라, 코드 품질(code quality), 일관성(consistency), 그리고 프로세스에 대한 제어력을 유지하는 것입니다.

저의 프로젝트 중 하나인 Project Venom을 바탕으로, AI 에이전트를 통한 높은 처리량(high throughput)이 코드 품질 관리와 결합될 수 있음을 보여주는 실질적인 요약을 준비했습니다.

출처 및 보충 데이터

• Project Venom 저장소: https://github.com/mpieniak01/Venom
• 영어 연구 요약: https://research.strefa.org/

이 프로젝트는 AI 코딩 에이전트(AI coding agents)를 사용하여 개발되고 있으며, 최종 상태는 다음과 같습니다:

• 기술 스택 (technology stack): Python 73.1%, TypeScript 24.9%, Shell 1.0%, Makefile 0.5%, JavaScript 0.3%, CSS 0.2%
• AI 에이전트가 지원한 코딩: 138,011 LOC (Lines of Code)
• 저장소 활동: 1,587 commits
• 품질: 첫 번째 SonarQube 측정 시 1,650개의 이슈에서 0개의 이슈로 감소
• 테스트 커버리지 (test coverage): 92.2%

결론:

AI 에이전트는 처리량(throughput)을 증가시키지만, 코드 품질은 pre-commit, CI, quality gate, 그리고 AI 에이전트와 인간이 수행하는 리뷰(review)라는 프로세스를 통해 유지됩니다.

데이터가 보여주는 세 가지 작업 단계

품질 및 코드 흐름 차트는 세 가지 단계를 보여줍니다.

1단계 — 집중 코딩 (intensive coding)

첫 번째 단계에서는 AI 에이전트가 코드의 상당 부분을 생성했습니다. 품질 검증(Quality validation)은 주로 단위 테스트(unit tests)를 다루었습니다. 이를 통해 프로젝트의 범위를 빠르게 확장할 수 있었습니다.

2단계 — 품질 기준 높이기 (raising the quality bar)

두 번째 단계에서는 품질 관리 (quality control)가 강화되었습니다. SonarQube를 연결한 결과 1,650개의 품질 이슈가 발견되었습니다. 이는 빠른 생성 (fast generation)에서 통제된 코드 정리 (controlled code cleanup)로 전환되는 시점이었습니다.

이 단계에서는 로컬의 엄격한 프리 커밋 게이트 (pre-commit gates)가 생성되었습니다. 여기에는 다음 사항들이 포함되었습니다:

• 정적 코드 검증 (static code validation),
• 테스트를 통한 코드 커버리지 (code coverage) 확인,
• 아키텍처 드리프트 (architecture drift) 제어.

에이전트는 품질 게이트 (quality gates)를 통과하지 못하면 작업을 완료할 수 없었습니다. AI가 생성한 코드는 저장소 (repository)에 직접 들어가지 않았습니다. 먼저 로컬 필터를 통과해야 했습니다.

3단계 — 안정화 및 품질 유지 (stabilization and quality maintenance)

세 번째 단계에서는 프리 커밋 (pre-commit), CI, SonarQube / SonarCloud, 그리고 AI 에이전트와 인간이 수행하는 리뷰를 통해 프로세스가 이미 안정화되었습니다. 품질은 마지막에만 확인된 것이 아니라, 작업 과정 내내 유지되었습니다.

최종 결과: 0개의 이슈와 5,000개 이상의 유닛 테스트 (unit tests)로 표현되는 92.2%의 테스트 커버리지를 달성했습니다. 동시에, 테스트 통과가 정상적으로 이루어진다는 가정하에 테스트 절차는 10분을 초과하지 않아야 했습니다.

워크플로우 작동 방식

AI 에이전트는 변경 사항 계획, 구현, 리팩터링 (refactoring), 테스트 생성, 오류 분석 및 문서 업데이트 등 실행 과정을 지원했습니다.

하지만 에이전트가 경계 결정 (boundary decisions)까지 넘겨받지는 않았습니다. 인간은 여전히 목표와 범위를 정의하고, 아키텍처를 승인하며, 머지 (merge), 배포 (deployment) 및 리스크를 결정했습니다.

핵심 워크플로우는 다음과 같습니다:

인간이 목표를 정의함
   ↓
AI 에이전트가 계획 및 구현 준비를 도움
...

핵심 사항

1. 첫 번째 품질 게이트(Quality Gate)는 로컬(Local)에서 이루어졌습니다. AI 에이전트의 도움으로 준비된 프리 커밋(Pre-commit) 스크립트는 정적 코드 검증(Static code validation), 기본 품질 규칙, 로컬 테스트 및 초기 커버리지(Coverage) 확인을 수행했습니다. 커밋은 결과가 통과(Green)된 후에만 가능했습니다.
2. GitHub에 푸시(Push)한 후에는 두 번째 제어 계층인 GitHub Actions가 시작되었습니다. 파이프라인은 일련의 자동화된 리뷰어(Reviewer)처럼 작동했습니다. 여기에는 백엔드 테스트, 프론트엔드 린팅(Linting), 빠른 검증기(Quick validator), OpenAPI 계약(Contract) 확인, 아키텍처 가드(Architecture guards), 금지된 경로 확인 및 문서 검증 등이 포함되었습니다.
3. 다음 계층은 SonarQube / SonarCloud였습니다. 이들의 역할은 사후에 보고서를 만드는 것이 아니었습니다. 이는 품질 게이트(Quality gate)로서, 새로운 이슈가 발생하는지, 기술 부채(Technical debt)가 증가하는지, 코드가 너무 복잡해지는지, 테스트 커버리지가 떨어지는지, 그리고 변경 사항이 프로젝트의 상태를 저하시키는지 확인했습니다.
4. 이 모델이 작동한 이유

이 모델은 세 가지 요소를 결합했기 때문에 작동했습니다.

첫째: AI 에이전트의 처리량(Throughput).
에이전트는 아이디어에서 작동하는 변경 사항으로의 전환을 가속화했습니다. 에이전트는 분석, 구현, 리팩터링(Refactoring), 테스트 및 문서화 작업을 도왔습니다.
둘째: 자동화된 품질 제어(Automated quality control).
프리 커밋(Pre-commit), CI, 가드(Guards), 테스트 및 SonarQube는 게이트(Gates) 시스템을 구축했습니다. 에이전트는 코드를 생성할 수는 있었지만, 코드가 준비되었다고 스스로 결정할 수는 없었습니다.
셋째: 인간의 의사결정 루프(Human decision loops).
인간은 목표, 범위, 아키텍처, 변경 수락 및 리스크에 대한 통제권을 유지했습니다.

요약하자면:

• AI가 생성하고 제안합니다.
• 프리 커밋(Pre-commit)이 기본적인 오류를 잡아냅니다.
• CI가 저장소(Repository) 내의 변경 사항을 확인합니다.
• SonarQube가 품질을 평가합니다.
• 인간이 결정을 내립니다.
• 이것이 이 접근 방식의 핵심입니다.

다른 팀들이 여기서 얻을 수 있는 점

코딩 에이전트와 함께 작업을 시작하는 팀들에게 가장 중요한 질문은 "어떤 AI 에이전트가 가장 좋은가?"가 아닙니다. "최고"라는 단어는 매일 변하기 때문입니다.

더 나은 질문은 다음과 같습니다:

AI 에이전트가 생성한 코드를 안전하게 수용할 수 있는 프로세스를 어떻게 준비할 것인가?

최소한의 시작 세트:

• GitHub 저장소 (repository),
• 풀 리퀘스트 (pull requests),
• 프리 커밋 (pre-commit),
• 유닛 테스트 (unit tests),
• GitHub Actions,
• SonarQube / SonarCloud,
• 에이전트를 위한 지침 (instructions for agents),
• 에이전트를 위한 작업 (tasks for the agent),
• 리뷰 (review): AI 에이전트와 인간.

파이프라인 없는 AI 코딩은 빠른 실험에 불과합니다. 파이프라인을 갖춘 AI 코딩은 통제된 소프트웨어 개발 프로세스가 됩니다.

Project Venom을 통해 얻은 가장 중요한 경험:

적절하게 설계된 프로세스는 AI 에이전트의 높은 처리량 (throughput)과 실제적인 코드 품질 향상을 결합하는 것을 가능하게 합니다.

에이전트는 코드를 작성할 수 있지만, 그 코드가 다음 단계로 넘어갈지 여부는 파이프라인이 결정해야 합니다.

질문

AI 코딩 에이전트와의 협업을 어떻게 조직화하고 계신가요?

그들을 주로 IDE 내의 보조자 (assistants)로 취급하시나요, 아니면 자체적인 지침 (instructions), 가드레일 (guards), 품질 게이트 (quality gates)를 갖춘 프로세스의 참여자로 이미 활용하고 계신가요?

여러분의 접근 방식을 비교해 보고 싶습니다.

공개 사항 (Disclosure)

본문 작성 시 AI 지원 활용; 프레젠테이션 그래픽 제작. 인용된 데이터는 지식 베이스 (knowledge base)에서 가져왔습니다.