Hermes-Memory-Installer: SLO Rollup 및 Grafana 대시보드

최신 hermes-memory-installer 업데이트는 이미 메모리 집약적인 워크로드(memory-critical workloads)를 실행 중인 팀을 위해 집중된 기능인 네이티브 SLO rollup(SLO 롤업) 및 이에 부수되는 Grafana 대시보드를 제공합니다. 이는 일반적인 모니터링에 관한 것이 아닙니다. 설치 프로그램의 리소스 관리 계층(resource management layer)에서 직접, 가공되지 않은 메트릭(raw metrics)을 실행 가능한 컴플라이언스 데이터(compliance data)로 전환하는 것에 관한 것입니다. 이 기능은 커스텀 PromQL 규칙과 대시보드 패널을 직접 조합할 필요 없이, 메모리 SLI(Service Level Indicators)를 추적하고, SLO(Service Level Objectives)를 정의하며, 번 레이트(burn rates)에 대응해야 하는 엔지니어들을 대상으로 합니다.

핵심 추가 사항은 slo.rollup으로, 이는 Hermes 런타임에서 노출되는 메모리 사용량, 지연 시간(latency), 에러 신호로부터 주요 SLO 메트릭을 사전 계산하는 서브시스템입니다. 대시보드를 로드할 때마다 매번 가공되지 않은 시계열 데이터(raw time series)를 폴링(polling)하는 대신, 롤업(rollup)은 컴플라이언스 윈도우(compliance windows, 7d, 30d, 커스텀)로 집계하여 결과를 전용 Prometheus SLO 메트릭 네임스페이스(namespace)에 저장합니다. 이는 대시보드와 알림 파이프라인(alerting pipelines) 모두의 쿼리 오버헤드(query overhead)를 획기적으로 줄여줍니다.

내부적으로 롤업은 설치 프로그램에 의해 자동 배포되는 설정 파일에 정의된 Prometheus 레코딩 규칙(recording rules)을 사용합니다. 각 SLO 윈도우는 전체 이벤트 대비 양호한 이벤트(예: 100ms 미만의 성공적인 메모리 할당)의 비율을 계산하는 레코딩 규칙을 생성합니다. 예를 들어, p99 지연 시간에 대한 30일 SLO는 다음과 같이 계산됩니다:

- record: hermes:slo:memory_latency_sli_30d
  expr: |
    sum(rate(hermes_memory_request_duration_seconds_bucket{le="0.1"}[30d]))
...

이를 통해 SLO 목표에 대한 직접적인 SLI 값을 얻을 수 있습니다. 또한 설치 프로그램은 실시간 번 트래킹(burn tracking)을 위해 에러 예산(error budget, 1 - SLI)을 노출합니다. 모든 롤업 메트릭에는 대시보드 쿼리를 단순화하기 위해 slo_name 및 slo_window 레이블이 지정됩니다.

시각화 측면에서, 설치 프로그램은 Grafana 10.x를 대상으로 하는 hermes-memory-slo-dashboard.json을 함께 제공합니다. 여기에는 세 가지 핵심 패널이 포함되어 있습니다:

• SLO Compliance Over Time (시간 경과에 따른 SLO 준수율): 주간 SLI (Service Level Indicator)를 SLO (Service Level Objective) 목표선과 비교하는 시계열 (Time series) 그래프입니다. 롤링 윈도우 (Rolling windows)는 저장된 롤업 (Rollup) 데이터를 기반으로 자동 업데이트됩니다.
• Error Budget Consumption (에러 예산 소모): 남은 예산 백분율을 보여주는 게이지 (Gauge)로, 경고 (50% 남음) 및 심각 (10% 남음) 임계값 (Thresholds)이 설정되어 있습니다. 이는 hermes:slo:error_budget 메트릭 (Metric)을 사용합니다.
• Burn Rate Heatmap (번 레이트 히트맵): 단기 (1h) 대 장기 (24h) 번 레이트 (Burn rates)를 보여주는 테이블로, 위반이 발생하기 전에 급격한 소모를 감지할 수 있도록 도와줍니다.

이 대시보드는 “임포트 후 실행 (import and run)” 방식으로 설계되었습니다. 설치 프로그램 (Installer)이 구성되어 실행되면, Grafana의 UI 또는 API를 통해 JSON을 임포트하세요. 추가적인 데이터 소스 플러그인 (Data source plugins)은 필요하지 않으며, Prometheus라는 이름의 단일 Prometheus 데이터 소스가 있다고 가정합니다.

롤업 (Rollup)을 활성화하려면 설치 프로그램의 설정에서 slo.rollup.enabled: true로 설정하십시오. 선택적으로 slo.rollup.windows 아래에 사용자 정의 SLO 윈도우 (Windows)를 정의할 수 있습니다. 그러면 설치 프로그램이 레코딩 규칙 (Recording rules)과 대시보드 파일을 지정된 디렉토리(기본값 /etc/hermes/slo/)에 배포합니다. 알림 (Alerting)은 외부 도구에 맡기지만, hermes:slo:error_budget 메트릭은 Prometheus 알림 규칙 (Alert rules)에서 즉시 사용할 수 있습니다.

이 기능은 특정 방식에 최적화되어 있습니다 (Opinionated): 메모리 SLI가 특정 윈도우 동안 전체 이벤트 대비 성공 이벤트의 비율이라는 표준 형식을 따를 때 가장 잘 작동합니다. 만약 SLI가 비이진(Non-binary) 방식(예: 값의 집계)이라면, 롤업을 여전히 사용할 수 있지만 레코딩 규칙을 수동으로 조정해야 합니다. 사전 배포된 규칙은 Hermes 코어에서 방출되는 일반적인 hermes_memory_* 메트릭을 대상으로 하지만, 설정 파일에 이를 재정의(Override)하는 방법이 문서화되어 있습니다.

이전에 메모리 SLO를 위해 임시 대시보드와 PromQL 스니펫 (Snippets)을 유지 관리하던 팀의 경우, 이번 업데이트를 통해 해당 노력을 거의 제로(0)로 줄일 수 있습니다. 롤업은 SLO 패널에 대한 Prometheus 쿼리 시간을 획기적으로(An order of magnitude) 단축하며, 대시보드는 예산 고갈을 조기에 감지할 수 있는 충분한 컨텍스트 (Context)를 제공합니다. 이는 설치 프로그램의 리소스 관리 파이프라인 (Resource management pipeline)에 직접 추가되는 기능으로, 별도의 에이전트 (Agents)나 사이드카 (Sidecars)가 필요하지 않습니다.

구현은 의도적으로 최소한으로 이루어졌습니다. 롤업 (rollup) 과정에서 소프트 에러 (soft-errors)나 누락된 데이터를 채우는 전략은 포함되지 않습니다. 만약 특정 윈도우 (window) 내의 데이터 포인트가 예상치의 1% 미만일 경우, 해당 SLI는 null로 표시됩니다. 대시보드는 게이지 (gauges)의 경우 null as zero 방식을 통해 이를 처리하지만, 시계열 (time series) 데이터의 경우 누락된 포인트는 숨김 처리됩니다. 이는 Hermes 메트릭 (metrics)이 완전한지 확인하거나, 필요한 경우 데이터 공백을 처리할 수 있도록 기록 규칙 (recording rules)을 조정해야 함을 의미합니다.

요약하자면, slo rollup and grafana dashboard 기능은 메모리 집약적인 프로덕션 스택에서 hermes-memory-installer를 사용하는 모든 사용자에게 실용적인 추가 기능입니다. 이 기능은 SLO 가시성을 설치 프로그램의 라이프사이클 (lifecycle)에 직접 가져오며, 모니터링을 처음부터 구축해야 하는 인지적 부하 (cognitive load)를 줄여주고, SLO 추적을 위한 일관된 패턴을 강제합니다. 대시보드를 임포트 (import)하고 롤업을 활성화하여, 메트릭을 찾아 헤매는 단계에서 예산 관리 (budget management) 단계로 전환하십시오.