트래픽이 18% 증가했습니다. 무엇과 비교했을까요? 무엇에 의해 유도되었을까요? 그 방문자들이 유용한 행동을 했나요? 이 변화가 의미가 있을 만큼 충분히 큰가요? 그리고 다음에 무엇을 점검해야 할까요?

이 질문들에 대한 답이 나오기 전까지, 18%는 단순한 측정값 (measurement)일 뿐입니다. 그것은 인사이트 (insight)가 아닙니다.

이러한 구분이 중요한 이유는 분석 (analytics) 제품들이 차트를 문장으로 변환하는 능력이 점점 좋아지고 있기 때문입니다. 문장은 차트 레이블보다 더 완전해 보이지만, 문법이 판단을 만들어내지는 않습니다. 만약 도구가 눈에 보이는 움직임을 단순히 재진술하기만 한다면, 그것은 당신의 시선을 한 번 아껴주었을 뿐 실제 분석은 그대로 방치한 것입니다.

이 글에서 언급된 18%는 예시를 위한 사례입니다. Zenovay의 실제 트래픽 결과가 아닙니다.

관찰은 결정이 아닙니다

대시보드가 지난 7일을 그 이전 7일과 비교하여 다음과 같이 보고한다고 가정해 봅시다:

트래픽이 18% 증가했습니다.

이 문장은 하나의 좁은 질문, 즉 두 기간 사이의 총량이 어떻게 변했는가에 대해서만 답합니다.

이 문장은 이전 주가 유난히 조용했는지, 특정 캠페인이 증가를 만들어냈는지, 봇 트래픽 (bot traffic)이 수치를 왜곡했는지, 상승분이 유용한 시장에서 왔는지, 혹은 새로운 방문자 중 누군가가 참여하거나 전환 (convert)했는지에 대해서는 알려주지 않습니다.

숫자는 정확할 수 있지만 여전히 도움이 되지 않을 수 있습니다.

A signal reaches one observation point, then opens into several contextual paths

최소한의 유용한 단위는 퍼센트 (%)가 아닙니다. 그것은 다음과 같은 체인 (chain)입니다:

1. 관찰 (Observation): 무엇이, 얼마나 변했는가?
2. 맥락 (Context): 어떤 기준선 (baseline)과 비교했을 때이며, 어느 기간 동안이며, 일반적인 변동 폭은 어떠한가?
3. 설명 (Explanation): 어떤 세그먼트 (segments)가 움직임을 설명할 수 있을 만큼 충분히 변했는가?
4. 영향 (Impact): 이 변화가 비즈니스 결과에 영향을 미쳤는가, 아니면 표면적인 지표 (surface metric)에만 머물렀는가?
5. 다음 점검 (Next check): 이제 사람이 무엇을 조사하거나 테스트해야 하는가?

이 체인이 길 필요는 없습니다. 정직할 필요가 있을 뿐입니다.

신뢰할 수 있는 기준점(Baseline)부터 시작하세요

이전 기간은 편리할 수는 있지만, 항상 대표성을 띠는 것은 아닙니다. 제품 출시, 공휴일, 서비스 중단(Outage), 유료 캠페인, 또는 이례적으로 반응이 좋았던 게시물 등으로 인해 특정 한 주가 다음 주의 부적절한 기준점(Baseline)이 될 수 있습니다.

더 나은 비교 방법은 최근의 이력을 사용하고 시간 범위(Time windows)를 동일하게 유지하는 것입니다. 예를 들어, 화요일부터 월요일까지의 기간을 이전의 여러 화요일-월요일 기간들과 비교하십시오. 만약 비즈니스에 강력한 요일별 패턴이 있다면, 월요일을 일요일과 비교하는 것은 마치 새로운 소식처럼 보이는 노이즈(Noise)를 만들어냅니다.

Zenovay의 현재 인사이트 서비스에서는 최대 4개의 최근 비어 있지 않은 주간 기간으로부터 기대값(Expected values)을 계산하며, 가장 최근 주간에 더 많은 가중치를 부여합니다. 동일한 서비스는 최신 주간을 별도의 비교 대상으로도 유지합니다. 이러한 설계가 기준점(Baseline)을 완벽하게 만들지는 않지만, 단 한 번의 이례적인 주가 미치는 영향력을 줄여줍니다.

실질적인 질문은 간단합니다. 기준점(Baseline)을 바꾼다면 그 문장이 여전히 흥미로워 보일까요?

최근 평균 대비 18% 상승이 2% 상승으로 바뀐다면 이야기는 달라집니다. 만약 여러 합리적인 비교 대상에 걸쳐 18%가 유지된다면, 그것은 주목할 가치가 있습니다.

설명하기 전에 전체를 분해(Decompose)하세요

합계 트래픽(Aggregate traffic)은 분석이 시작되는 지점이지, 끝나는 지점이 아닙니다. 다음 단계는 변화가 어디에 존재하는지 찾는 것입니다.

유용한 분류(Cuts)에는 주로 다음과 같은 항목이 포함됩니다:

• 참조 경로(Referrer) 또는 캠페인(Campaign)
• 랜딩 페이지(Landing page)
• 국가 또는 지역
• 기기 유형(Device type)
• 신규 및 재방문자
• 참여도(Engagement) 또는 가치 세그먼트(Value segment)

[

One aggregate signal splits into four segment paths]

전체 트래픽이 18% 성장했다고 가정해 봅시다. 하지만 추가된 방문의 거의 대부분이 단 하나의 참조 소스(Referral source)에서 유입되었고 단 하나의 기사로 랜딩되었다면 어떨까요? 그것이 훨씬 더 유용한 관찰입니다. 이는 탐색 범위를 좁혀주고 팀이 조사할 수 있는 구체적인 대상을 제공합니다.

이제 그 소스를 나머지 트래픽과 비교해 보세요. 방문자들이 상호작용(interact)했나요? 중요한 페이지에 도달했나요? 목표(goal)를 달성했나요? 방문자의 질이 낮은 상태에서의 볼륨 증가는, 의도한 타겟 오디언스(audience)에게 도달하는 소스로부터 얻은 더 작은 증가보다 가치가 낮을 수 있습니다.

Zenovay의 현재 인사이트 경로는 해석을 요구하기 전에 총 방문자 수, 참여율 (engagement rate), 평균 가치 점수 (average value score), 고가치 방문자 비중, 그리고 주요 국가, 기기, 추천인 (referrers), 랜딩 페이지를 결합합니다. 이러한 필드들은 코드가 오늘날 실제로 제공하는 것을 반영합니다. 이것들은 분석을 위한 맥락 (context)이지, 인과관계 (causation)의 증거가 아닙니다.

원인을 가설로 취급하세요

이 지점이 많은 자동화된 요약(automated summaries)들이 과도하게 확신에 차게 되는 부분입니다.

캠페인이 시작된 후 트래픽이 상승했다면, 해당 캠페인이 기여했을 수도 있습니다. 하지만 타이밍만으로는 그것이 전체 상승을 일으켰다는 것을 증명할 수 없습니다. 유기적 검색 (Organic search), 추천 (referral), 재방문 오디언스 (returning audience), 트래킹 변경, 또는 단순한 변동이 개입되었을 수도 있습니다.

책임감 있는 인사이트는 증거 (evidence)와 추론 (inference)을 분리합니다:

증거 (Evidence): 해당 기간 동안 캠페인 소스로부터의 방문이 증가했으며, 전체 증가분의 대부분을 차지합니다.

가설 (Hypothesis): 캠페인이 상승의 주요 설명 요인입니다.

확인 (Check): 태그된 캠페인 방문, 랜딩 페이지, 참여 (engagement), 그리고 목표 달성 (goal completions)을 이전 기준점 (baseline)과 비교합니다.

이러한 표현 방식은 약간 덜 극적입니다. 또한 독자에게 해당 설명을 어떻게 증명하거나 거부할 수 있는지 알려주기 때문에 훨씬 더 유용합니다.

트래픽을 결과와 연결하세요

방문 수가 늘어나는 것이 자동으로 좋은 것은 아닙니다. 방문은 유용할 수도, 무관할 수도, 비용이 많이 들 수도, 우연일 수도, 혹은 부정(fraudulent)일 수도 있습니다. 그 의미는 사이트가 달성하고자 하는 목적에 따라 달라집니다.

콘텐츠 사이트의 경우, 다음 신호는 의미 있는 상호작용 (interaction)이나 재방문일 수 있습니다. 제품 사이트의 경우, 회원가입 (signup), 활성화된 계정 (activated account), 또는 적격 리드 (qualified lead)일 수 있습니다. 커머스의 경우, 매출 (revenue), 주문 가치 (order value), 또는 완료된 결제 (completed checkout)일 수 있습니다.

이것이 바로 “트래픽이 18% 증가했다”라는 문구가 미완성된 것처럼 느껴지는 이유입니다. 이 문장은 그 다음에 어떤 일이 일어났는지는 무시한 채, 시스템의 최상단에서 일어나는 움직임만을 설명하고 있습니다.

더 나은 진술은 다음과 같을 수 있습니다:

트래픽이 최근 주간 기준선 (baseline) 대비 18% 높았습니다. 상승분의 대부분은 하나의 추천 소스 (referral source)와 하나의 랜딩 페이지 (landing page)에서 발생했습니다. 해당 방문자들의 참여율 (engagement rate)은 사이트 평균보다 낮았으므로, 지출을 늘리기 전에 소스 메시지와 랜딩 페이지의 적합성을 확인하십시오.

이 예시에는 기준선 (baseline), 세그먼트 (segment), 결과 (outcome), 그리고 다음 행동 (next action)이 포함되어 있습니다. 또한 데이터가 입증하지 않은 원인을 주장하는 것도 피하고 있습니다.

모든 인사이트에 다음 확인 사항을 부여하십시오

인사이트는 인지하는 것과 결정하는 것 사이의 거리를 줄여주어야 합니다. 만약 독자가 여전히 “그래서 이제 무엇을 해야 하지?”라고 물어야 한다면, 요약이 너무 일찍 끝난 것입니다.

다음 단계는 실행할 수 있을 만큼 구체적이어야 하며, 신뢰할 수 있을 만큼 겸손해야 합니다. 좋은 예시는 다음과 같습니다:

• 주요 소스를 최근 주간 기준선 (baseline)과 비교
• 새로운 트래픽을 받은 랜딩 페이지 (landing page) 열기
• 해당 세그먼트 (segment)의 참여 (engagement) 및 목표 달성 (goal completion) 확인
• 동일한 기간 내에 캠페인, 출시, 또는 트래킹 (tracking) 변경이 있었는지 확인
• 예산을 변경하기 전에 동일한 기간 동안 패턴을 한 번 더 관찰

Four connected points move from observation toward a next action

Zenovay의 현재 AI 인사이트 형식에는 지표 이름 (metric name), 현재 값 (current value), 예상 값 (expected value), 백분율 변화 (percentage change), 설명 (description), 심각도 (severity), 그리고 권장 사항 (recommendation)이 포함됩니다. 차트 내러티브 경로 (chart narrative path) 또한 추세 (trend), 정점 (peak), 저점 (low), 최근 데이터 포인트 (recent data points), 그리고 요청된 행동 (requested action)을 결합합니다. 만약 AI 서비스를 사용할 수 없는 경우, 제품은 규칙 기반 (rule-based) 요약으로 전환될 수 있습니다. 이러한 구현 세부 사항은 중요합니다. 유용한 제품에는 정의된 출력 계약 (output contract), 관련 증거 (relevant evidence), 그리고 우아한 실패 모드 (graceful failure mode)가 필요하기 때문입니다. 영리한 문장 하나만으로는 충분하지 않습니다.

모든 AI 인사이트를 위한 5가지 질문 테스트

자동화된 인사이트에 따라 행동하기 전에 다음을 질문하십시오:

1. 정확히 무엇이 변했는가? 지표(metric), 기간(window), 그리고 변화량이 명시적이어야 합니다.
2. 기준점(baseline)은 무엇인가? 이전 기간, 최근 평균, 예측값(forecast), 또는 벤치마크(benchmark)가 숨겨져 있어서는 안 됩니다.
3. 변화가 어디에서 발생했는가? 집계된 수치를 설명할 수 있는 소스(source), 페이지, 기기, 지리적 위치, 또는 방문자 세그먼트(visitor segment)를 찾으십시오.
4. 그 설명을 뒷받침하는 증거는 무엇인가? 타이밍(timing)은 유용한 증거이지만, 그것이 인과관계(causation)는 아닙니다.
5. 다음 확인 사항은 무엇인가? 신뢰도가 제한적일 경우, 권장 사항은 구체적이고 되돌릴 수 있어야(reversible) 합니다.

만약 어떤 진술이 이 질문들을 통과하지 못한다면, 그것을 하나의 알림(notification)으로 취급하십시오. 알림도 여전히 가치가 있을 수 있습니다. 알림은 어디를 살펴봐야 할지 알려줍니다. 하지만 이미 조사가 완료된 것처럼 가장해서는 안 됩니다.

표준은 유용한 불확실성입니다

훌륭한 분석은 불확실성을 제거하지 않습니다. 불확실성을 가시화하고 더 나은 다음 단계(next move)를 제시할 뿐입니다.

"트래픽이 18% 증가했다"는 말은 숫자가 정밀하기 때문에 확실하게 들립니다. 하지만 중요한 부분들은 여전히 불확실한 상태로 남아 있습니다: 왜 변했는지, 그것이 중요한지, 그리고 그 상태가 지속될 것인지 말입니다.

유용한 인사이트는 정확한 관찰 결과는 유지하되, 사용 가능한 가장 강력한 맥락(context)을 추가하고, 모든 설명에는 가설(hypothesis)이라는 라벨을 붙이며, 변화를 결과(outcome)와 연결하고, 다음 확인 사항을 제안합니다.

이것이 문장으로 다시 쓰인 차트와, 누군가의 의사결정을 돕는 분석 사이의 차이입니다.