프로덕션 Kubernetes 클러스터가 5xx 오류를 발생시키기 시작할 때, 인시던트 대응에서 가장 어려운 부분은 파드를 재시작하는 것이 아닙니다. 온콜 엔지니어들은 어떤 OOMKilled 컨테이너가 고립된 문제인지 아니면 체크아웃 시스템을 다운시키는 도미노 역할을 하는지 알아내기 위해 여러 대시보드, kubectl describe 출력 결과, 로그 집계기, 네트워크 정책 사이를 뛰어다니며 중요한 시간을 낭비합니다.
이 문제를 해결하기 위해 저는 Gemini 4 Argon, Google Agent Development Kit (ADK), Neo4j, 그리고 **Model Context Protocol (MCP)**을 활용하여 프로덕션급 자율 SRE 커맨드 센터를 구축하는 작업을 진행했습니다.
본 게시물에서는 전체 엔지니어링 청사진, 다중 에이전트 아키텍처, 카오스 엔지니어링 테스트베드, 대화형 커맨드 센터 프로토타입, 그리고 자율 AI 인프라 도구 개발 시 작동했던 부분과 여전히 남아있는 격차에 대한 솔직한 분석을 소개합니다.
1. 엔지니어링 요구사항
단순한 '로그와 대화하기' 래퍼를 넘어 시스템을 구축하기 위해, 이 시스템은 엄격한 아키텍처적, 기능적, 운영적 요구사항을 중심으로 설계되었습니다:
기능 및 AI 아키텍처 요구사항
- 실시간 Kubernetes 텔레메트리 대시보드: 클러스터 상태, GKE 노드, 네임스페이스, 배포(deployment), 파드, CPU/메모리 압력, 네트워크 I/O, 데이터베이스 연결 풀에 대한 실시간 가시성을 제공합니다.
- Neo4j Kubernetes 지식 그래프: Kubernetes 리소스를 단순히 평면적인 목록으로 취급하는 대신, 전체 토폴로지(Cluster -> Node -> Namespace -> Deployment -> Pod -> Service -> CloudSQL)를 Neo4j에서 모델링하여 다단계 탐색 범위 추론(multi-hop blast-radius reasoning)을 가능하게 합니다.
- Google ADK를 통한 다중 에이전트 파이프라인: 단일 거대 프롬프트 대신, 뚜렷한 책임이 있는 다섯 가지 전문 에이전트를 오케스트레이션합니다.
장애 조사 에이전트(Incident Investigation Agent): 이상 징후를 감지하고 로그, 메트릭, 쿠버네티스 이벤트를 상관관계 분석합니다.
근본 원인 분석(RCA) 에이전트: Neo4j 그래프를 순회하여 증상과 근본적인 결함을 분리하고 영향 범위(blast radius)를 계산합니다.
보안 및 제로 트러스트 에이전트(Security & Zero-Trust Agent): 쿠버네티스 RBAC, NetworkPolicy, 그리고 최소 권한 원칙(least-privilege constraints)에 따라 제안된 수정 사항을 검증합니다.
복구 에이전트(Remediation Agent): 장애를 해결하는 데 필요한 정확한 kubectl, Helm, 또는 Terraform 패치를 생성합니다.
검증 에이전트(Verification Agent): 복구 후 텔레메트리(telemetry)를 모니터링하여 서비스 수준 목표(SLO) 회복을 확인합니다.
MCP 도구 통합(MCP Tool Integration): 클러스터 검사, 로그 쿼리, Cypher 실행 및 안전한 인프라 변경을 위한 표준화된 모델 컨텍스트 프로토콜(Model Context Protocol) 도구를 제공합니다.
휴먼-인-더-루프(HITL) 거버넌스 및 감사 가능성: 엄격한 RBAC(ADMIN, OPERATOR, READ-ONLY), 모든 변경 작업 전에 필수적인 인간 승인 절차, 그리고 암호화된 감사 로그를 구현합니다.
카오스 엔지니어링 테스트베드(The Chaos Engineering Testbed)
SRE 에이전트는 진단할 수 있는 장애만큼만 유용합니다. 이 시스템은 8가지 표준 쿠버네티스 실패 모드를 처리하도록 설계되었습니다:
- CrashLoopBackOff (잘못 구성된 환경 변수 / 잘못된 시작 프로브)
- OOMKilled (메모리 누수 / 부족한 컨테이너 제한)
- Node NotReady (kubelet 실패 / 디스크 압력)
- DNS Resolution Failure (CoreDNS 저하 / 설정 드리프트)
- NetworkPolicy Blocking (마이크로서비스 간 제로 트러스트 이그레스/인그레스 차단)
- High CPU Utilization (노이즈 네이버 / 제한되지 않은 워커 루프)
- Database Connection Exhaustion (CloudSQL에 대한 연결 풀 포화)
- Deployment Rollout Failure (손상된 이미지 태그 / 실패하는 준비성 프로브)
2. 시스템 아키텍처 및 다단계 추론(System Architecture & Multi-Hop Reasoning)
이 아키텍처의 핵심 차별점은 MCP(실시간 상태 검사용)와 Neo4j(위상 의존성 매핑용)를 결합하는 것입니다.
에이전트 설정 내부 (gemini-4-argon + Google ADK)
각 에이전트는 클러스터 토폴로지 스키마를 위한 암시적 컨텍스트 캐싱(Implicit Context Caching), **다단계 근본 원인 분석(multi-hop RCA)**을 위한 사고 수준(Thinking Levels), 그리고 결정론적 복구 페이로드(deterministic remediation payloads)를 위한 구조화된 출력(Structured Outputs)과 같은 특정 gemini-4-argon 기능을 활용합니다:
from google.adk.agents import LlmAgent
from google.genai import types
...
4. 결과: 커맨드 센터 및 카오스 시나리오 내부
이 구현을 통해 전체 gemini-4-argon 추론 루프, Neo4j 그래프 순회(graph traversal), 그리고 8가지 모든 카오스 엔지니어링 시나리오에 걸친 MCP 도구 실행을 시뮬레이션하는 대화형 자율 SRE 커맨드 센터(App.jsx)가 제공되었습니다.
커맨드 센터 UI의 주요 하이라이트 (Live Gemini 4 Argon)
- 추론 타임라인(Reasoning Timeline): 각 ADK 에이전트의 활성 사고 단계, 실행된 정확한 MCP 도구 페이로드, 반환된 Neo4j Cypher 쿼리, 그리고 합성된 근본 원인을 표시합니다.
- 대화형 Neo4j 토폴로지 및 폭발 반경 시각화기(Interactive Neo4j Topology & Blast Radius Visualizer): 실시간으로 다단계 장애 전파를 강조하며 라이브 의존성 그래프(클러스터 -> 노드 -> 네임스페이스 -> 배포 -> 파드 -> 서비스 -> CloudSQL)를 렌더링합니다.
- 인간 개입형 루프 (HITL) 게이트 및 RBAC 적용: Gemini 4 Argon의 기본 제공되는 '변경 전 일시 중지(pause-before-mutation)' 동작을 활용합니다. Argon이 kubectl patch 또는 rollout undo를 준비할 때, ADMIN이나 OPERATOR가 '승인 및 복구 실행(Approve & Execute Remediation)' 버튼을 클릭할 때까지 UI에서 실행이 일시 중지됩니다. READ-ONLY로 전환하면 변경 제어 기능이 완전히 잠깁니다.
암호화 감사 로그(Cryptographic Audit Log): 모든 카오스 주입(chaos injection), gemini-4-argon 추론 흔적(reasoning trace), MCP 호출, 그리고 인간 승인 서명을 기록합니다.
5. 엔지니어링 평가:
작동 요약 및 미흡점 (What Worked vs. What Was Missed)
인공지능(AI)으로 생성된 자율 시스템을 엄격한 프로덕션 엔지니어링 기준에 따라 평가할 때, 투명성이 중요합니다:
성공한 부분 (What Succeeded)
- Gemini 4 Argon의 에이전트 워크플로우 충실한 모델링: 프로토타입은 gemini-4-argon이 모든 8가지 카오스 시나리오에 걸쳐 다중 턴 조사, Neo4j Cypher 순회(traversal), 제로 트러스트 보안 검증, 그리고 경계 안전의 인간 확인을 어떻게 조정하는지 정확하게 보여줍니다.
- 설명 가능한 폭발 반경 계산(Explainable Blast-Radius Calculation): 불투명한 심각도 레이블을 출력하는 대신, 커맨드 센터는 폭발 반경을 계산하는 데 사용된 정확한 Neo4j 그래프 경로와 Cypher 쿼리를 시각화합니다.
- 제로 트러스트 및 인간 개입 루프(HITL) 제어: 역할 기반 접근 통제(RBAC) 게이팅(ADMIN, OPERATOR, READ-ONLY)과 불변 감사 로깅은 운영 워크플로우에 직접 내장되어 있습니다.
포함된 주요 기능:
- 실시간 쿠버네티스 클러스터 원격 측정 및 상태 매트릭스: 실시간 CPU, 메모리, 네트워크 I/O, 5xx 오류율, GKE 노드(gke-prod-node-1..3), 네임스페이스, 배포(deployments), 파드(pods), 그리고 CloudSQL 연결 풀을 추적합니다.
- 대화형 Neo4j 쿠버네티스 지식 그래프 및 다중 홉 폭발 반경 시각화 도구: 클러스터 -> 노드 -> 네임스페이스 -> 배포 -> 파드 -> 서비스 -> 데이터베이스 관계를 모델링하며, 실시간 다중 홉 종속성 하이라이팅, 폭발 반경 점수 산정, 그리고 토글 가능한 Cypher 쿼리 검사기를 제공합니다.
- 8가지 카오스 엔지니어링 장애 주입 시나리오: CrashLoopBackOff, OOMKilled, Node NotReady, DNS 해석 실패(DNS Resolution Failure), NetworkPolicy 차단, 높은 CPU 사용률, 데이터베이스 연결 고갈, 배포 롤아웃 실패를 원클릭으로 시뮬레이션하는 것을 지원합니다.
Google ADK 다중 에이전트 파이프라인 및 인간 개입 승인 게이트(HITL Approval Gate): 5가지 전문 에이전트(사건 조사, 근본 원인 분석, 보안 및 제로 트러스트 정책, 복구, 검증)를 시각화하고, RBAC 역할 권한(ADMIN, OPERATOR, READ-ONLY)을 강제하며, 암호화된 감사 서명(cryptographic audit signatures)을 기록합니다.
6. 결론 (Conclusion)
Gemini 4 Argon은 프로덕션 운영을 위한 AI 아키텍처 방식에 근본적인 변화를 가져옵니다. 상태 변경(mutating state) 전에 일시 중지할 시점을 아는 1M 토큰 규모의 최전선 모델(frontier model)과 Neo4j Kubernetes Knowledge Graph 및 Google ADK를 결합함으로써, SRE 팀은 45분간의 워룸 조사 과정을 단 30초 만에 인간이 검증한 복구 워크플로우로 압축할 수 있습니다.
Github Repo:-
[https://github.com/saurabhmi2212/Autonomous-SRE-Command-Center]
