Grafana 스택의 AI 역량

수년 동안 SRE(Site Reliability Engineering) 팀은 시스템 내부에서 어떤 일이 일어나고 있는지 이해하기 위해 대시보드, 알림(Alerts), 그리고 수동으로 작성된 쿼리(Queries)에 의존해 왔습니다. 하지만 현대의 인프라는 분산되고 복잡하며 노이즈가 많아져서, SRE가 지속적으로 그래프를 모니터링하고 이벤트를 수동으로 상관 분석(Correlate)하기에는 어려움이 있습니다.

이 지점에서 AI 지원 Observability(관측 가능성)가 의미를 갖기 시작합니다. 현재 일어나고 있는 변화는 대시보드 기반의 Observability에서 의도 기반(Intent-based)의 Observability로의 전환입니다.

다음과 같은 질문을 던리는 대신:

• "어떤 대시보드를 열어야 하지?"
• "어떤 PromQL 쿼리를 작성해야 하지?"
• "어떤 서비스가 실패하고 있지?"

이제 엔지니어들은 단순히 다음과 같이 물을 수 있습니다:

• "운영 환경(Production)에서 왜 지연 시간(Latency)이 급증했지?"
• "어떤 배포(Deployment)가 이 문제를 일으켰지?"
• "에러율이 증가하기 전에 무엇이 변했지?"

이는 또한 AI 기반 SRE 워크플로우의 부상과 밀접하게 연관되어 있습니다. 이제 AI는 인시던트(Incidents)를 요약하고, 텔레메트리(Telemetry)를 자동으로 상관 분석하며, 이상 징후(Anomalies)를 탐지하고, 근본 원인 분석(Root Cause Analysis)을 지원하며, 엔지니어가 방대한 Observability 데이터셋을 더 빠르게 탐색할 수 있도록 돕는 데 사용되고 있습니다.

Observability 플랫폼은 이러한 변화를 지원하기 위해 빠르게 진화하고 있습니다. 이에 대한 가장 큰 사례 중 하나는 Grafana Cloud와 Grafana OSS 모두에서 이루어지고 있는 Grafana의 최근 AI 역량 강화입니다. 다만, 이 내용은 주의해서 살펴볼 필요가 있습니다. 제한 사항에 대해 더 자세히 알아보려면 다음 섹션들을 확인해 보시기 바랍니다.

이 블로그에서는 Grafana에 도입된 새로운 AI 기능들을 살펴보고, 이 기능들이 PLG (Prometheus, Loki, Grafana) 스택 내에서 어디에 위치하는지, Cloud와 OSS 간의 설정 차이는 무엇인지, 그리고 이러한 기능들이 실제로 일상적인 Observability 워크플로우를 개선하는지 알아보겠습니다.

PLG 스택의 이해

AI 기능에 대해 이야기하기 전에, 이러한 역량들이 Observability 스택의 어디에 추가되는지 이해하는 것이 중요합니다. PLG 스택은 메트릭(Metrics)을 위한 Prometheus, 로그(Logs)를 위한 Loki, 그리고 시각화 및 분석을 위한 Grafana를 의미합니다. 여기에 Tempo와 Mimir를 추가하면 흔히 LGTM (Loki, Grafana, Tempo, Mimir)이라고 불립니다.

각 계층은 서로 다른 책임을 가집니다.

중요한 점은 AI가 이러한 시스템들을 대체하는 것이 아니라는 것입니다. 대신, AI는 관측성 스택 (observability stack) 위에 추가되어 텔레메트리 (telemetry)를 더 쉽게 소비하고 조사할 수 있도록 만들어줍니다. Grafana는 본질적으로 관측 데이터에 대한 AI 상호작용 계층 (AI interaction layer)이 되어가고 있습니다.

Grafana 13의 새로운 AI 기능

최근 Grafana는 조사 워크플로를 개선하고 관측성의 운영 오버헤드 (operational overhead)를 줄이는 것을 목표로 하는 몇 가지 AI 기반 기능들을 도입했습니다. 이러한 기능 중 일부는 Grafana Cloud에서 직접 사용할 수 있으며, 다른 기능들은 셀프 호스팅된 OSS 배포 환경에서도 구성할 수 있습니다.

AI Assistant

AI Assistant는 가장 눈에 띄는 추가 기능 중 하나입니다. 이를 통해 사용자는 대시보드를 수동으로 탐색하거나 쿼리 (query)를 작성하는 대신, 자연어 (natural language)를 사용하여 관측 데이터와 상호작용할 수 있습니다.

사용 사례 예시:

• 지연 시간 (latency) 급증에 대해 질문하기
• LogQL을 수동으로 작성하지 않고 로그 쿼리하기
• 대시보드 패널이 무엇을 나타내는지 이해하기
• 프롬프트 (prompt)로부터 PromQL 쿼리 생성하기
• 인시던트 (incident) 또는 텔레메트리 패턴 요약하기

이는 PromQL, Loki 쿼리 또는 Grafana 대시보드에 익숙하지 않을 수 있는 신입 엔지니어들의 온보딩 (onboarding) 경험을 크게 변화시킵니다. 쿼리 구문을 먼저 배우는 대신, 평이한 영어로 질문을 시작할 수 있습니다.

Grafana Assistant를 통한 대시보드 템플릿 커스터마이징

전통적으로 대시보드 템플릿은 팀이 빠르게 시작할 수 있도록 도와주지만, 실제 운영 환경에서는 정확히 동일한 메트릭 이름, 레이블 (label), 데이터 소스 (datasource) 구조 또는 명명 규칙 (naming conventions)을 사용하는 경우가 드물기 때문에 종종 수동 조정이 필요합니다.

Grafana Assistant는 자연어 상호작용 (natural language interactions)을 사용하여 템플릿을 조정하도록 도움으로써 그러한 마찰을 줄이고자 시도합니다. 이는 특히 대규모 관측성 (observability) 환경, 일관되지 않은 텔레메트리 명명 규칙 (telemetry naming) 또는 다중 데이터 소스 통합 (multiple datasource integrations)을 다루는 팀에게 대시보드 온보딩 (onboarding)을 훨씬 더 쉽게 만들어 줍니다.

AI 지원 근본 원인 분석 (AI-Assisted root cause analysis)

Grafana는 또한 근본 원인 분석 (root cause analysis) 워크플로우를 위한 AI 지원 조사 (AI-assisted investigations) 기능을 도입했습니다.

이 기능은 지표 (metrics), 트레이스 (traces), 로그 (logs), 배포 (deployments) 및 인프라 이벤트 (infrastructure events)를 상관 분석 (correlate)하여 장애 발생 시 가능한 원인을 좁힐 수 있도록 돕습니다. 여러 대시보드를 수동으로 넘나드는 대신, 조사가 더욱 가이드된 방식으로 이루어집니다.

예를 들어:

• 지연 시간 급증 (latency spike)을 배포 이벤트 (deployment event)와 연결할 수 있고,
• 이를 에러 로그 (error logs)와 상관 분석하며,
• 실패하는 의존성 (failing dependency)까지 추적할 수 있습니다.

이는 장애 대응 (incident response)이 엔지니어들이 가장 많은 시간을 소비하는 영역이기 때문에, 관측성 분야에서 가장 강력하고 실용적인 AI 활용 사례 중 하나입니다.

이상 탐지 및 예측 (Anomaly Detection and Forecasting)

AI가 자연스럽게 적용되는 또 다른 영역은 이상 탐지 (anomaly detection)입니다. 전통적인 알림 (alerting)은 수동으로 정의된 임계값 (thresholds)에 크게 의존하지만, 정적 임계값은 동적인 시스템에서 실패하는 경우가 많습니다. Grafana의 AI 지원 이상 탐지는 고정된 알림 규칙 (alert rules)에 전적으로 의존하는 대신, 비정상적인 행동 패턴을 자동으로 식별하려고 시도합니다.

예측 (Forecasting) 기능 또한 스토리지 성장, 지표 트렌드 (metric trends), 용량 고갈 (capacity exhaustion) 및 트래픽 패턴을 예측하는 데 도움을 줍니다. 이는 선제적인 운영 (proactive operations) 및 인프라 계획에 유용합니다.

프롬프트를 통한 빠른 온보딩 (Fast onboarding with Prompts)

관측성에서 AI의 과소평가된 이점 중 하나는 온보딩 속도입니다. 대규모 관측성 환경은 수백 개의 대시보드, 수천 개의 지표, 다중 데이터 소스 및 일관되지 않은 명명 규칙으로 인해 탐색하기 어려워질 수 있습니다.

AI 지원 프롬프트 (AI-assisted prompts)는 이러한 마찰을 크게 줄여줍니다. 엔지니어는 수동으로 검색하는 대신, 설정을 이해하기 위해 질문을 던질 수 있습니다. 이는 새로운 팀원들의 학습 곡선 (learning curve)을 낮춰줍니다.

기술 (Skills) 및 반복 가능한 워크플로우 (Repeatable Workflows)

Grafana는 재사용 가능한 AI 워크플로우 또는 "기술 (skills)"과 유사한 개념을 도입하기 시작했습니다. 이는 Anthropic의 Claude와 같은 도구에서 제공하는 재사용 가능한 프롬프트 워크플로우 (reusable prompt workflows)와 다소 유사합니다. 이 개념의 핵심은 일반적인 조사 작업들을 표준화하는 것입니다.

예시:

• 배포 분석 워크플로우 (deployment analysis workflow),
• 데이터베이스 장애 조사 (database incident investigation),
• Kubernetes 트러블슈팅 (Kubernetes troubleshooting),
• API 지연 시간 분석 (API latency analysis).

매 장애 발생 시마다 동일한 단계를 수동으로 반복하는 대신, 워크플로우를 반자동화하고 재사용할 수 있습니다. 이는 반복되는 운영 패턴을 처리하는 SRE 팀에게 특히 유용합니다.

Grafana MCP Server

Grafana의 AI 생태계에 추가된 또 다른 흥미로운 요소는 버전 9.0부터 지원되는 Grafana MCP Server입니다. MCP (Model Context Protocol)를 통해 외부 AI 에이전트 (AI agents)가 Grafana 및 관측성 (observability) 시스템과 더욱 구조화된 방식으로 직접 상호작용할 수 있습니다.

Grafana UI 내부의 Grafana Assistant에만 의존하는 대신, MCP를 사용하면 Claude, Cursor 및 기타 MCP 호환 AI 클라이언트가 대시보드를 쿼리하고, 관측성 데이터를 검사하며, 시각화 (visualizations)를 생성하고, 장애를 트러블슈팅하며, Grafana와 대화형으로 상호작용할 수 있습니다.

이를 통해 Grafana가 독립적인 관측성 UI를 넘어 더 넓은 AI 에이전트 생태계의 일부가 되는 더욱 유연한 AI 워크플로우가 열립니다. 셀프 호스팅 (self-hosted) 환경의 경우, 클라우드 결합형 Assistant 워크플로우와 비교했을 때 더 개방적인 통합 모델을 제공하므로 특히 흥미롭습니다.

데모: Grafana Open Source에서 AI 기능 사용하기

최신 Grafana Assistant 기능을 테스트하기 위해, 저는 셀프 호스팅된 Grafana OSS 인스턴스를 무료 Grafana Cloud 계정에 연결한 하이브리드 설정을 사용했습니다.

이 설정이 중요한 이유는 Grafana의 최신 Assistant 워크플로우 중 상당수가 셀프 호스팅된 OSS 배포를 사용하더라도 백엔드 AI 서비스로 Grafana Cloud에 의존하기 때문입니다.

1. 로컬에서 Grafana OSS 실행하기

첫 번째 단계는 Docker를 사용하여 로컬에서 Grafana OSS를 실행하는 것이었습니다.

docker run -d --name grafana -p 3000:3000 grafana/grafana:13.0.1

컨테이너를 시작한 후, Grafana는 로컬의 http://localhost:3000에서 접속할 수 있었습니다.

저는 Grafana OSS v13을 사용했는데, 이는 최신 Assistant 생태계와 AI 통합 기능들이 Grafana 13 릴리스 주기를 중심으로 설계되었기 때문입니다.

2. Grafana Cloud 계정 생성하기

다음으로, 무료 Grafana Cloud 계정을 생성하고 Cloud 스택(Cloud stack)을 만들었습니다.

무료 티어(free tier)는 Assistant 통합 및 OSS 연결성을 실험하기에 충분했습니다. 가격 및 제한 사항에 대한 자세한 내용은 Grafana Pricing을 참조하십시오.

3. Grafana OSS에 AI 플러그인 설치하기

로컬에서 AI 통합 기능을 활성화하기 위해, Grafana Assistant 플러그인을 설치했습니다.

플러그인은 다음 명령어를 통해 Grafana 컨테이너 내부에 직접 설치되었습니다.

docker exec -it grafana grafana cli plugins install grafana-assistant-app

플러그인을 설치한 후, Grafana가 재시작되었습니다.

4. Grafana OSS를 Grafana Cloud에 연결하기

플러그인을 사용할 수 있게 된 후, 다음 단계는 OSS 배포(deployment)를 Grafana Cloud에 연결하는 것이었습니다.

5. Assistant 인터페이스 탐색

설정 과정을 통해 AI 지원 워크플로우 (AI-assisted workflows)가 프롬프트 (prompts)를 사용하여 대시보드 탐색과 텔레메트리 (telemetry) 탐색을 어떻게 단순화할 수 있는지 확인했습니다. 동시에, 많은 최신 AI 기능들은 완전한 독립형 오픈 소스 (OSS) 기능이라기보다는 여전히 Grafana Cloud 서비스에 크게 의존하고 있습니다.

실습: AI 기능 사용해 보기

AI 기능을 실질적인 방식으로 테스트하기 위해, 저는 grafana-testdata-datasource를 사용하기로 결정했습니다.

AI Assistant를 사용하여 대시보드 구축 및 맞춤 설정하기

제가 가장 먼저 테스트한 것은 대시보드 생성 및 맞춤 설정을 위해 Grafana Assistant를 사용하는 것이었습니다. 패널 (panels)을 수동으로 생성하고 쿼리 (queries)를 작성하는 대신, 워크플로우가 더욱 프롬프트 중심 (prompt-driven)으로 변했습니다.

예를 들어, 저는 Assistant에게 Grafana 테스트 데이터 소스 (test data source)를 사용하여 대시보드를 생성하고 패널을 추가해 달라고 요청했습니다. Assistant는 또한 템플릿 (templates)을 맞춤 설정하고 대시보드를 더욱 상호작용적으로 조정하는 데 도움을 주었습니다.