오늘날 대부분의 GenAI (생성형 AI) 사용 사례는 제품 팀에 집중되어 있습니다. 고객용 챗봇을 구축하거나, 마케팅 문구를 생성하거나, 새로운 제품 기능을 개발하는 것과 같은 일들 말입니다.

하지만 DevOps, Site Reliability Engineering (SRE), 그리고 Cloud Center of Excellence (CCoE) 팀에게도 사용 사례는 있습니다. 장애(incident)를 조사하거나, 런북 (runbook)을 생성하거나, 비용 최적화 권장 사항을 생성하는 것 등이 이에 해당합니다.

이러한 작업들은 반복적인 업무로, 신뢰성 개선에 투입할 시간을 빼앗아 갑니다.

운영 팀이 GenAI의 잠재력을 보지 못하는 것이 아닙니다. 그들은 실제 워크플로(workflow)에 적합하며, 직접 배포하고 평가할 수 있는 코드가 포함된 유용한 무언가를 기다리고 있는 것입니다.

문제는 준비성이 아니라 관련성(relevance)입니다. 부족한 점은 다음과 같습니다:

• 실제 운영 작업과 매칭되는 실용적인 사용 사례
• 프로덕션 환경에 즉시 적용 가능한(production-ready) 배포 가능 코드 샘플
• 맞춤 설정이 가능한 유연한 패턴

이러한 문제를 해결하기 위해 GenAI for Ops Demo Library가 만들어졌습니다.

GenAI for Ops Demo Library 소개

GenAI for Ops Demo Library는 생성형 AI가 보안, 비용 최적화, 회복 탄력성(resilience), 자동화 전반에 걸쳐 실제 운영 과제를 어떻게 해결할 수 있는지 보여주는 배포 가능한 코드 샘플 모음입니다. 각 데모를 있는 그대로 배포하거나 사용자의 환경에 맞춰 맞춤 설정할 수 있습니다.

현재 12개의 데모를 사용할 수 있습니다:

기술 스택 (Technical Stack)

각 데모는 익숙하면서도 프로덕션 환경에 즉시 적용 가능한 AWS 서비스 및 AI 통합 패턴을 기반으로 구축되었습니다:

• Amazon CloudWatch: 메트릭 (metrics), 로그 (logs) 및 알람 (alarms) 용
• AWS Lambda: 서버리스 컴퓨팅 (serverless compute) 용
• Amazon Simple Notification Service (SNS): 이벤트 라우팅 (event routing) 용
• AWS Cloud Development Kit (CDK): 코드형 인프라 (infrastructure as code) 용
• Amazon Bedrock 및 Amazon Nova: 파운데이션 모델 (foundation model) 액세스 용
• Amazon Bedrock AgentCore: 다단계 AI 오케스트레이션 (multi-step AI orchestration) 용
• Model Context Protocol (MCP) 서버: 표준화된 도구 통합 (standardized tool integration) 용

데모 구조 (Demo Structure)

또한, 각 데모에는 배포 가이드, 기술 설계 문서, 배포 스크립트(s) 및 최적화 팁이 포함된 비용 추정치가 포함되어 있습니다.

이 데모들이 실제로 어떻게 작동하는지 보여주기 위해, 그중 하나를 살펴보겠습니다.

예시: AWS DevOps Agent를 활용한 사이트 간 VPN 터널 조사 (Site-to-Site VPN Tunnel Investigation with AWS DevOps Agent)

AWS Site-to-Site VPN 터널은 사전 공유 키 (pre-shared key) 불일치, IKE 제안 (IKE proposal) 호환성 문제, 데드 피어 탐지 (dead-peer-detection) 타임아웃, 경계 관문 프로토콜 (Border Gateway Protocol, BGP) 세션 끊김, 경로 회수 (route withdrawals), 처리량 저하 등 다양한 이유로 실패합니다. 새벽 2시에 터널이 다운되면, 온콜 (on-call) SRE는 무슨 일이 일어났는지 파악하기 위해 CloudWatch 메트릭, VPN 터널 로그 및 IPsec 설정을 일일이 읽어야 합니다. 이는 시간이 소요되며 평균 복구 시간 (Mean Time to Resolution, MTTR)에 부정적인 영향을 미칩니다. 이 데모는 AWS DevOps Agent가 이러한 사고 및 기타 장애를 어떻게 자율적으로 분류(triage)하고, 근본 원인 분석 (root cause analysis) 및 해결을 위한 조치를 제공하는지 보여줍니다.

개요 (Overview)

이 데모는 독립된 VPN 환경을 배포하고, 장애를 자동으로 조사하기 위한 DevOps Agent Space를 생성합니다.

터널이 실패하거나 성능이 저하되면, DevOps Agent는 다음을 수행합니다:

1. CloudWatch에서 VPN 터널 로그를 읽고 두 터널 간의 메트릭을 상관 분석 (correlate) 합니다.
2. 비즈니스 컨텍스트 (서비스 의존성, 비용 영향, 컴플라이언스 상태)를 파악하기 위해 독립된 MCP 서버에 질의합니다.
3. 근본 원인 분석 (root cause analysis, RCA) 및 상세한 완화 계획 (mitigation plan)을 생성합니다.

아키텍처 (Architecture)

데모는 세 가지 계층으로 구성됩니다:

네트워크 계층 (Network layer)

• 두 개의 IPsec 터널을 가진 Site-to-Site VPN으로 연결된 Amazon Virtual Private Cloud (VPC) (10.0.0.0/16) 및 시뮬레이션된 온프레미스 (on-premises) VPC (172.16.0.0/16)
• Amazon Linux 2023에서 IPsec을 위한 Libreswan과 BGP를 위한 GoBGP를 실행하는 Amazon EC2 인스턴스 고객 게이트웨이 (customer gateway)

모니터링 계층 (Monitoring layer)

• 터널 상태, 성능 및 기타 장애를 모니터링하기 위한 CloudWatch 알람 (alarms)
• DevOps Agent에게 웹훅 (webhook)을 전송하는 Lambda 함수를 트리거하기 위한 SNS 토픽 (topic)

지능 계층 (Intelligence layer)

• DevOps Agent가 리소스에 액세스하고 VPN 운영 문제를 조사할 수 있는 DevOps Agent Space

작동 방식 (How it Works)

터널 장애 발생 / 성능 저하
             ↓
  CloudWatch 알람 상태 변경
...

일반적인 장애 시나리오 (Common Failure Scenarios)

데모에는 DevOps Agent가 조사하는 과정을 주입하고 관찰할 수 있는 10가지 장애 시나리오가 포함되어 있습니다:

IKE

• PSK 불일치 (키 로테이션 (key rotation) 오류)
• DPD 타임아웃 (firewall이 IKE 트래픽을 차단)
• Proposal 불일치 (호환되지 않는 DH 그룹)
• Traffic selector 불일치 (서브넷 변경으로 인한 BGP 중단)
• 터널 종료 (고객 게이트웨이에서 시작된 해제)

BGP

• BGP 데몬 (daemon) 다운
• 유지보수 후 ASN 불일치
• Hold timer 만료 (keepalives 차단)

기타

• BGP 경로 회수 (prefix가 더 이상 광고되지 않음)
• 처리량 (throughput) 저하 (터널은 유지되지만 성능이 떨어짐)

결과 (The Results)

더 빠른 장애 해결. VPN 장애 및 성능 저하에 대한 자율적인 조사를 통해 MTTR을 몇 시간에서 몇 분으로 단축합니다.

장애 재발 감소. 타겟팅된 권장 사항을 통해 장애의 근본 원인을 해결하고 VPN 터널의 회복 탄력성 (resilience)을 강화합니다.

운영 효율성 증대. 반복적인 조사에 소비되는 시간을 줄이고 가치가 높은 업무에 더 많은 시간을 할애할 수 있습니다.

예상 비용 (Cost Estimate)

각 데모는 AWS Well-Architected Framework의 비용 최적화 (Cost Optimization) 기둥을 염두에 두고 구축되었으므로, 실행 비용이 최소한으로 유지됩니다.

시작하기 (Get Started)

1. 탐색 (Explore): 데모 라이브러리를 둘러보고 귀하의 사용 사례 (use case)에 맞는 데모를 선택하세요.
2. 시도 (Try): 귀하의 AWS 계정에 데모를 배포하세요.
3. 기여 (Contribute): 귀하의 데모를 포함하여 풀 리퀘스트 (pull request)를 제출하세요.
4. 피드백 (Feedback): 간단한 설문 조사에 참여하여 피드백을 공유해 주세요.