DevOpsAgent를 통한 리뷰 자동화 [DevOpsAgent]

이 기사는 제가 일본어로 작성한 다음 URL의 내용을 기계 번역한 것입니다:

https://qiita.com/Nana_777/items/31ef1d637150409a1990

서론 (Introduction)

2026년 6월 17일, AWS Summit New York에서 AWS DevOps Agent에 릴리스 관리 (Release Management) 기능 (미리보기)가 추가되었습니다. 이 기능은 풀 리퀘스트 (pull requests)에 대해 코드 리뷰를 자동으로 수행하고, 릴리스 준비가 되었는지 여부를 결정합니다.

이 기사는 릴리스 관리 기능의 리뷰 기능에 대한 당사의 테스트를 설명합니다.

공식 발표 (Official Announcement)

AWS DevOps Agent adds release management capabilities (AWS News Blog)

AWS DevOps Agent adds release management capability (What's New)

릴리스 관리 (Release Management) 기능이란 무엇인가?

AWS DevOps Agent의 릴리스 관리 기능은 다음과 같은 세 가지 주요 기능으로 구성됩니다:

1. 릴리스 준비 코드 리뷰 (Release Readiness Code Review) — 정적 코드 분석 (static code analysis)을 사용한 종합적인 리뷰
2. 자동 검증 테스트 (Automated Verification Testing) — 코드 빌드, 실행 및 테스트를 통한 동적 검증
3. 릴리스 테스트 (Release Testing) — 배포된 애플리케이션에 대한 통합 테스트 (Integration testing) (수동 실행)

기존 코드 리뷰 도구와의 차이점

항목	기존 도구 (SonarQube 등)	AWS DevOps Agent
분석 방법	정적 분석 (Static Analysis)만 수행	정적 분석 (Static Analysis) + 동적 실행 (Dynamic Execution)
...
릴리스 결정 세부 사항

• BLOCK: 릴리스를 방지해야 하는 심각한 문제 (Critical issues)
• 보안 위반 (Security violations), 빌드 오류 (Build errors), 컴파일 오류 (Compilation errors), 의존성 중단 (Dependency breaks), 심각한 정책 위반 (Critical policy violations), 심각한 액세스 제어 문제 (Critical access control issues)
• Proceed with Caution: 위험을 초래하지만 치명적이지는 않은 문제
• 운영 리스크 (Operational risks) (하드코딩된 이름 등), 기술 부채 (Technical debt), 잠재적인 성능 영향 (Potential performance impacts), 경미한 베스트 프랙티스 위반 (Minor best practice violations)
• Safe to Release: 심각한 문제가 감지되지 않음

환경 설정 (Environment Settings)

파이프라인 설정 (Pipeline Settings)

*2026년 6월 27일 기준으로, 이 기능은 일본 국내 리전에서는 사용할 수 없습니다. Virginia 리전을 사용해 주세요.
AWS DevOps agent의 agent space 화면에 있는 "Pipelines" 섹션에서 이를 구성할 수 있습니다.
파이프라인에 구성된 GitHub 리포지토리를 선택하고 "Edit"를 선택하세요.

자동 변경 리뷰 트리거 (Automatic change review triggers) 및 자동 검증 테스트 (Automatic validation tests) 체크박스를 활성화합니다.

검증 1: 기밀 정보 로그 출력 (DevOps Agent에 의한 리뷰)

도입된 문제 (Introduced Problem)

아래 코드는 "password, api_key, token"과 같은 기밀 정보를 로그에 출력합니다.

// lambda/scenarioC-auth-handler.ts
export const handler = async (event: APIGatewayProxyEvent) => {
const { username, password, api_key } = JSON.parse(event.body || '{}');
...

기대 결과: 민감한 정보의 로깅을 감지함

결과 (Result)

DevOps agent가 도입한 문제에 관한 코멘트가 GitHub PR에 추가되었습니다.

DevOps Agent 리뷰 코멘트 (Review Comments)

새로운 핸들러(handler) 내보내기(export)가 평문 비밀번호(plaintext password), api_key, 세션 토큰(session token), JWT 등을 기록합니다...

자동 검증 테스트(Automated verification testing)를 통해 유출을 확인했습니다: 플레이스홀더(placeholder) 자격 증명으로 번들링된 핸들러를 호출한 결과, password=secret123, api_key=DUMMYKEYVALUE12345, token=CALLER_TOK_PLACEHOLDER_abc와 같은 리터럴(literal) 값이 포함된 로그 라인이 생성되었습니다...

제안된 수정 사항 (Proposed Fixes)

DevOps Agent는 문제를 지적하는 것 외에도, PR 코멘트에 해당 문제들을 어떻게 수정할지에 대한 제안을 포함합니다.

검증 2: 사용자 정의 명명 규칙 (임의의 리뷰 관점)

임의의 리뷰 관점 정의하기

DevOpsAgent를 사용하면 임의의 리뷰 관점(review perspectives)을 정의하고 해당 관점에 기반하여 리뷰를 수행할 수 있습니다.
설정 절차는 DevOps Agent 웹 앱 메뉴에서 "Knowledge"를 선택하는 것으로 시작합니다.

"Knowledge" 메뉴에서 "Release readiness review"를 선택하면 임의의 리뷰 기준(review criteria)을 정의할 수 있습니다.

이러한 리뷰 기준은 일본어를 포함한 자연어(natural language)로 작성할 수 있습니다.

이 예제에서는 "temp" 또는 "test"를 포함하는 이름을 금지하는 명명 규칙 (naming convention)을 리뷰 기준으로 정의했습니다.

릴리스 결정 레벨 (release decision level)은 "BLOCK"으로 정의되었습니다.

도입된 문제 (Introduced Problem)

이 테스트에서는 커밋에 "temp" 또는 "test"를 포함하는 함수들을 포함했습니다.

// lambda/testNamingConvention.ts
// 함수 이름에 "temp" 또는 "test"가 포함됨 ★사용자 정의 리뷰 기준 (Custom Review Criteria)
export function tempCalculateTotal(items: Item[]): number { ... }
...

테스트 결과 (Test Results)

풀 리퀘스트 (pull request) 메시지에 사용자 정의 리뷰 기준에 따른 코멘트가 포함되었습니다.

DevOps Agent의 리뷰 코멘트

이 파일은 프로덕션 코드에서 금지된 토큰을 포함하는 두 개의 함수를 내보냅니다: tempCalculateTotal (10행) 및 testFormatUserData (20행).

RELEASE_READINESS_REVIEW 정책에 따라, 프로덕션 코드 경로에서 temp 또는 test를 포함하는 식별자 (identifiers)는 허용되지 않습니다.

검증을 통해 확인된 자동화된 검증 테스트 기능 (Automated Verification Testing Features)

이번 검증의 상세 메시지와 실행 로그를 통해, DevOps 에이전트가 다음과 같은 동작을 수행함을 확인할 수 있었습니다:

1. 빌드 실행 (Build Execution)

• 여러 명령의 자동 실행: npm run build, npm run build:lambda, npx cdk synth --quiet
• 종료 코드 (exit code) 검증: 모든 명령의 종료 상태 확인
• package.json 스크립트 자동 감지: 프로젝트의 빌드 스크립트 읽기

2. 빌드 아티팩트 검증 (Build Artifact Verification)

• 빌드 스크립트 (scripts/build-lambdas.ts)의 동작 이해
• 아티팩트 (artifacts) 생성 확인 (dist/lambda/xxx/xxx.js)
• 함수 이름의 보존 확인

3. 보안 점검 (Security Checks) (3가지 유형)

• 기밀 정보 로그 (Confidential Information Logs): password, api_key, token, secret, Authorization Header, JWT
• IAM 와일드카드 (IAM Wildcards): Action: "*", Resource: "*"
• 하드코딩된 자격 증명 (Hardcoded Credentials): AWS 자격 증명 (AWS credentials), API 키 (API keys)

4. 호출 그래프 분석 (Call Graph Analysis)

• 함수 호출자 (function callers) 분석
• 데드 코드 (dead code, 사용되지 않는 함수) 탐지
• CDK 사용 여부 확인

DevOps Agent 리뷰 활용 사례 (Use Cases for DevOps Agent Reviews)

SecurityAgent와의 결합 활용

이전에는 SecurityAgent를 사용하여 GitHub로 전송된 PR(Pull Request)에 대해 자동화된 취약점 탐지가 가능했습니다.
DevOps agent를 이용한 리뷰를 추가함으로써, SecurityAgent가 제공하는 보안 중심의 리뷰 외에도 포괄적인 리뷰를 수행하는 것이 가능해집니다.
최종 릴리스 실행을 위해서는 여전히 사람의 리뷰가 필요하겠지만, 이 접근 방식은 리뷰 작업량을 줄이고 더 높은 품질과 일관된 리뷰를 가능하게 할 것으로 기대됩니다.

코드 생성 (Code Creation)
↓
PR 생성 (PR Creation)
...

리뷰 피드백 루프 구축 (Building a Review Feedback Loop)

우리는 DevOps agent가 자체적인 리뷰 관점을 정의할 수 있음을 확인했습니다.
DevOps agent의 고유한 관점에서 수행된 리뷰 결과에 기반하여, 탐지되지 않은 이슈를 Agent Instructions에 추가함으로써 지속적인 개선을 도모할 수 있습니다.
이를 통해 조직은 각자의 요구사항에 맞춘 자체적인 리뷰 메커니즘을 구축하고 추가적인 개선을 이끌어낼 수 있습니다.

리뷰 실행 (Review Execution) → 문제 탐지 (Problem Detection) → 수정 (Correction)
↓
누락된 이슈 발견 (Missed Issues Found)
...

결론 (Conclusion)

AWS DevOps Agent의 릴리스 관리 (Release Management) 기능은 급증하는 AI 생성 코드에 대응하기 위한 새로운 형태의 코드 리뷰를 제시합니다.

자동화된 리뷰, 맞춤 설정 가능한 리뷰 기준, 단순한 리뷰 결과 제공을 넘어선 구체적인 코드 예시 제공, 그리고 SecurityAgent와의 결합을 통한 더욱 포괄적인 리뷰는 모두 기존 리뷰의 품질과 효율성을 향상시킬 것으로 기대됩니다.

참고 링크 (Reference Links)

공식 문서 (Official Documentation)

참고 링크 (Reference Links)

공식 문서 (Official Documentation)

• Release management - AWS DevOps Agent
• Release readiness code reviews
• Agent instructions

공식 발표 (Official Announcement)

• AWS DevOps Agent adds release management capabilities (AWS News) Blog
• AWS DevOps Agent adds release management capability (What's New)