【Splunk Observability Cloud】Human Analytics에서 Agent Analytics로
요약
AI Agent의 동작 과정을 Google Analytics와 같은 퍼널 분석 방식으로 관측하는 방법을 제안합니다. OpenTelemetry와 Splunk Observability Cloud를 활용하여 에이전트의 단계별 이탈률, 토큰 소비, 비용 및 성공률을 모니터링하는 체계를 검증합니다.
핵심 포인트
- AI Agent의 실행 과정을 OpenTelemetry Span으로 기록하여 관측 가능성 확보
- 토큰 사용량, 추정 비용, 추론 단계 등 에이전트 특화 지표 정의
- 기존 인프라 모니터링을 넘어 에이전트 퍼널 분석으로의 확장 필요성 강조
- Splunk와 OTLP를 이용한 에이전트 성능 및 비용 분석 시뮬레이션
GA4・OpenTelemetry・Splunk로 비교해 보았다. 텔레메트리(Telemetry)는 AI Agent 버전의 Google Analytics가 될 수 있는가?
서론
Google Analytics는 지난 20년 이상 웹(Web)의 사용자 행동을 분석해 온 역사가 있다.
session_start
↓
view_item
...
기업은 이 퍼널(Funnel)을 분석하여, 어디에서 이탈했는지, 전환율(Conversion Rate)은 몇 %인지, 어떤 시책이 유효한지를 측정해 왔다.
한편 2025년 이후, 분석 대상은 마침내 인간뿐만이 아니게 되었다. AI Agent가 검색하고, 추론하며, 답변을 생성하게 된 지금, 새로운 질문이 생겨난다.
Agent의 이탈률을 측정할 수 있는가?
Agent의 비용은 어디에서 발생하는가?
Agent의 전환율은 정의할 수 있는가?
이번에는 OpenTelemetry + Splunk Observability Cloud를 사용하여, AI Agent 버전의 Google Analytics를 실현할 수 있는지 검증하였다.
왜 GA4와 비교하는가
먼저 비교의 베이스라인으로서, Google이 공개하고 있는 GA4 샘플 데이터셋을 사용하였다. 대상은 Google Merchandise Store의 EC 데이터이다.
GA4 구매 퍼널
| 이벤트 | 사용자 수 | 이전 단계로부터의 지속률 |
|---|---|---|
| session_start | 267,116 | — |
| ... | ||
| 최종 전환율: 1.7% (session_start → purchase) |
주목해야 할 점은 첫 번째 단계다. session_start에서 view_item으로의 지속률은 불과 **22.9%**이다. 즉, 방문자의 77%는 상품 페이지를 보지 않고 이탈하고 있다. GA4에서는 이 이탈 포인트를 특정하고 개선 시책을 세우는 일이 일상적으로 이루어지고 있다.
AI Agent에게도 퍼널은 존재한다
이번에 구축한 Agent Simulator는 다음과 같은 구조를 가진다.
Request (입력 수신)
↓
Planner (태스크 분해)
...
인간의 구매 행동과 마찬가지로, AI Agent도 단계적인 처리 플로우(Flow)를 가진다. 그리고 각 단계에서 '이탈'이 발생할 수 있다.
이번에는 다음과 같은 4가지 시나리오를 설계하였다.
| 시나리오 | 내용 | 발생률 |
|---|---|---|
| A: Normal | 정상 완료 | 70% |
| ... |
OpenTelemetry로 Agent를 관측한다
각 Agent의 실행을 OpenTelemetry Span으로 기록하였다. Span에는 다음과 같은 속성(Attribute)을 부여하였다.
| Attribute | 내용 | GA4의 대응 개념 |
|---|---|---|
agent.stage | Agent 명 (planner / retriever 등) | 이벤트 명 |
agent.tokens | 토큰 소비 수 | 페이지 뷰 수 |
agent.cost | 추정 비용 (USD) | 매출 |
agent.success | 성공 / 실패 | 전환 |
agent.latency_ms | 처리 시간 (ms) | 세션 시간 |
agent.scenario | 실행 시나리오 (A/B/C/D) | 트래픽 소스 |
기존의 Observability가 CPU / Memory / Network를 대상으로 했던 것에 반해, Agent Analytics에서는 Token / Cost / Reasoning / Success가 주요 지표가 된다. 이는 모니터링(Monitoring) 개념 그 자체의 확장이다.
Splunk로 Agent Funnel을 만든다
1,000건의 요청을 시뮬레이션하여, Splunk Observability Cloud로 OTLP를 통해 전송하였다.
Agent Funnel 결과
| 스테이지 | 요청 수 | 이전 단계로부터의 지속률 |
|---|---|---|
| request | 1,000 | — |
| ... | ||
| Agent Completion Rate: 89.9% |
이탈은 retriever → reasoner
단 한 곳(Scenario B: Retrieval Failure가 10.1%)뿐이었다. GA4의 1.7%라는 낮은 전환율(Conversion Rate)과 비교하면, Agent의 퍼널(Funnel)은 "인간보다 완주율이 훨씬 높다"는 구조적인 차이가 드러난다. AI Agent들은 이탈하지 않고 쉬지 않고 움직이고 있는 상태라고 볼 수 있다.
Cost Attribution은 예상보다 중요했다
이번 검증에서 가장 흥미로웠던 점은 **비용 분포 (Cost Distribution)**이다. 기업 입장에서 AI Agent가 쉬지 않고 활동해 주는 반면, 비용 부담은 최대의 병목 구간(Bottleneck)이다.
| Agent | 비용 (USD) | 비율 |
|---|---|---|
| Writer | $76.23 | 59.1% |
| ... |
Writer와 Reasoner 두 에이전트만으로 **전체 비용의 99%**를 차지한다.
GA4에서 "어디에서 이탈했는가"가 중요한 것처럼, Agent Analytics에서는 "어떤 Agent가 비용을 소비하고 있는가"가 그에 못지않게 중요한 과제가 된다. 이는 기존의 Web Analytics에는 존재하지 않았던 관점으로, 이 블랙박스(Black Box)를 가시화해야 하는 긴급한 상황일지도 모른다.
특히 Scenario D (Writer Explosion)에서는 Writer의 토큰(Token) 수가 평소의 10~25배로 불어나 있었다. GA4로 치면 "장바구니에 상품을 100개 담은 채 이탈한" 것과 같은 이상 행동의 탐지에 해당한다.
Human Analytics와 Agent Analytics의 대비
이번 결과를 정리하면 다음과 같은 대응 관계가 보인다.
| Human Analytics (GA4) | Agent Analytics (OTel) |
|---|---|
| User | Request |
| ... |
OpenTelemetry Trace는 Agent 시대의 새로운 행동 로그라고 생각할 수 있다. GA4가 클릭이나 페이지 전환을 기록했듯이, OTel은 토큰 소비, 추론의 깊이, 응답의 성패를 기록한다.
OpenTelemetry는 AI Agent 버전의 Google Analytics가 될 수 있는가
결론부터 말하자면, OpenTelemetry 자체가 Google Analytics가 되는 것은 아니다.
GA4에는 광고 연동, A/B 테스트, 코호트 분석(Cohort Analysis) 등 Agent와는 관계없는 기능이 많다.
하지만 다음과 같은 관점에서 OpenTelemetry는 Agent Analytics의 기반으로서 충분한 능력을 갖추고 있었다.
Agent 퍼널의 가시화 → Trace / Span 구조가 그대로 퍼널이 됨 -
비용 귀속 분석 (Cost Attribution Analysis) → agent.cost 속성으로 누가 얼마를 사용했는지 추적 가능 -
실패 패턴의 분류 → agent.scenario로 시나리오별 장애 분류 가능 -
레이턴시 (Latency) 분석 → agent.latency_ms로 병목 구간 특정 가능
그리고 Splunk Observability Cloud와 결합함으로써, 기존의 시스템 모니터링을 넘어선 Agent Analytics 대시보드를 구축할 수 있음을 확인했다.
마치며
Google Analytics는 인간의 온라인 행동 이력을 가시화했다. DMP는 데이터를 가시화했고, CDP는 고객을 가시화했다.
그리고 AI Agent가 보급되는 앞으로는, OpenTelemetry와 Observability 기반이 Agent의 행동을 가시화하는 시대가 될 것으로 보인다.
이번 검증은 시뮬레이션 기반이었지만, 텔레메트리 (Telemetry) 수준까지 파고든 데이터를 다룸으로써 단순한 Agentic BI가 아닌, Agent Analytics 그 자체의 중요성을 확인할 수 있었다.
- Agent에게도 퍼널은 존재하며, 측정 가능하다
- Agent의 비용 귀속은 기존의 Observability보다 중요한 지표가 될 수 있다
- OpenTelemetry의 Span 속성 설계에 따라 GA4에 상응하는 분석이 가능하다
다음 단계로서, 가능하다면 LangGraph나 CrewAI와 같은 실제 에이전트 프레임워크에 OTel을 통합하여, 실제 운영 환경에서도 동일한 분석이 가능한지 검증해 보고 싶다.
검증에 사용된 코드: https://github.com/akiyamatakanori/agent-analytics-simulator
데이터: GA4 샘플 데이터셋 (Google Merchandise Store), Agent Simulator (Python / OpenTelemetry SDK)
논의
AI 자동 생성 콘텐츠
본 콘텐츠는 Zenn AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기