대부분의 BI 대시보드는 한 가지 질문에 답합니다: 이미 무슨 일이 일어났는가. Watching Agents는 다른 질문에 답합니다: 다음에 무슨 일이 일어날 것인가.

우리는 Inithouse에서 Watching Agents를 구축했습니다. Inithouse는 점점 늘어나는 AI 기반 제품 포트폴리오를 출시하는 스튜디오이며, 우리는 계속해서 동일한 격차(gap)에 직면했기 때문입니다. 우리에게는 Clarity 히트맵(heatmaps), GA4 퍼널(funnels), Google Ads 보고서가 있었습니다. 우리는 수치를 알고 있었습니다. 하지만 팀원 중 누군가가 "EU 규제 X가 우리의 가격 모델에 영향을 미칠까요?" 또는 "경쟁사 Y가 무료 티어(free tier)를 출시할 예정인가요?"라고 물었을 때, 어떤 대시보드도 답을 내놓지 못했습니다. 그것들은 미래에 관한 질문이며, 대시보드는 미래를 다루지 않습니다.

대시보드가 잘하는 것

대시보드는 알려진 지표(metrics)를 위해 구축됩니다. KPI를 정의하고, 데이터 소스를 연결하며, 임계값 알림(threshold alerts)을 설정합니다. 매출이 목표치 아래로 떨어지거나 이탈률(bounce rate)이 한계를 넘으면 알림을 받습니다. 이는 무엇을 추적해야 할지 정확히 알고 있고 신호가 정량적(quantitative)일 때 효과적입니다.

스택(stack)은 성숙해 있습니다: Grafana, Datadog, Looker, Power BI. 알림은 당신이 작성한 규칙에 따라 발생합니다. 이 모델은 반응적(reactive)입니다. 데이터에 무언가 발생하면, 당신은 통보를 받습니다.

격차가 나타나는 지점

격차는 질문이 개방형이고 미래 지향적일 때 나타납니다. "OpenAI가 이번 분기에 무료 API 티어를 출시할까요?"는 KPI가 아닙니다. "EU AI Act가 생성된 콘텐츠에 대해 감사 추적(audit trails)을 요구하게 될까요?"는 Grafana 패널이 아닙니다. 이것들은 제품 결정에 영향을 미치는 실제 질문들이지만, 당신이 이미 수집하고 있는 데이터의 범위를 벗어나 있습니다.

우리는 우리의 AI 가시성 모니터링 도구인 Be Recommended를 운영하면서 이를 발견했습니다. 우리는 특정 날짜의 AI 엔진 전반에 걸친 인용률(citation rates)을 추적할 수는 있었지만, 모델 업데이트나 정책 변경으로 인해 그러한 인용 패턴이 곧 변화할 것인지를 추적할 시스템은 없었습니다. 데이터는 항상 과거를 돌아보는 방식(backwards-looking)이었습니다.

Watching Agents가 다르게 작동하는 방식

Watching Agents를 사용하면 미래에 관한 어떤 질문에 대해서도 AI 에이전트 (AI agent)를 배포할 수 있습니다. 자연어로 질문을 입력하기만 하면 됩니다. 에이전트는 가설을 세우고, 공개된 소스에서 증거를 찾아내며, 새로운 정보가 나타남에 따라 업데이트되는 확률 및 신뢰도 점수 (Probability and Confidence score, Prob/Conf)를 할당합니다.

실제 사례는 다음과 같습니다:

사용자의 질문: "Google이 2026년 말까지 Chrome에서 서드파티 쿠키 (third-party cookies)를 폐지할까요?"

에이전트의 동작:

• 3~5개의 가설 수립 (X 시점까지 예, 지연되지만 예, 아니오 및 그 이유)
• 뒷받침할 증거를 찾기 위해 뉴스, 정책 문서, 개발자 포럼 크롤링 (Crawls)
• 각 가설에 대해 Prob (가능성) 및 Conf (증거의 양) 점수 부여
• 균형이 변화할 때 사용자에게 알림 전송

이는 대시보드 알림 (dashboard alert)과는 근본적으로 다릅니다. 대시보드 알림은 "지표가 임계값을 넘었습니다"라고 말합니다. 반면 Watching Agent의 알림은 "당신의 질문을 둘러싼 증거 지형 (evidence landscape)이 방금 변했습니다"라고 말합니다.

언제 무엇을 사용할 것인가

대시보드와 Watching Agents는 경쟁 도구가 아닙니다. 이들은 서로 다른 영역을 다룹니다.

대시보드를 사용해야 할 때:

• 지표가 정량적 (quantitative)이며 이미 수집하고 있는 경우
• 과거의 추세선 (historical trend lines)이 필요한 경우
• 알림 임계값 (alert thresholds)이 명확한 경우 (매출 < X, 가동 시간 < 99.9%)

Watching Agents를 사용해야 할 때:

• 질문이 아직 일어나지 않은 일에 관한 것일 때
• 추적해야 할 구체적인 지표가 무엇인지 모를 때
• 답변이 데이터 파이프라인 (data pipeline) 외부의 외부 요인 (규제, 경쟁사의 움직임, 시장 변화)에 달려 있을 때
• 일회성 조사 세션이 아닌 지속적인 모니터링 (ongoing monitoring)을 원할 때

부수적인 효과로서의 공개 에이전트

우리가 계획하지 않았지만 유용하게 밝혀진 점이 하나 있습니다. Watching Agents에 배포하는 모든 에이전트는 공개될 수 있다는 것입니다. 즉, 가설과 증거 추적 경로가 포함된 에이전트 페이지가 인덱싱 가능한 콘텐츠 (indexable content)가 된다는 의미입니다. 현재 우리는 수백 개의 이러한 페이지를 보유하고 있으며, 각 페이지는 특정 미래 질문에 대한 살아있는 문서 역할을 하고 있습니다.

이것이 원래의 목표는 아니었습니다. 우리는 Inithouse 포트폴리오 전반에 걸쳐 여러 AI 기반 제품을 병렬로 출시하고 모니터링하는 내부 용도로 이 제품을 구축했습니다. 하지만 공개된 에이전트(Agents)들이 그 자체로 하나의 발견 채널이 되었습니다.

실질적인 트레이드오프 (Practical tradeoff)

Watching Agents가 여러분의 Grafana 스택을 대체하는 것은 아닙니다. 서버 응답 시간(server response time)이 200ms를 초과했는지 알아야 한다면, Datadog 모니터를 설정하십시오. 만약 곧 시행될 규제가 6개월 후에 현재의 인증 흐름(auth flow)을 비준수(non-compliant) 상태로 만들지 여부를 알아야 한다면, 에이전트(agent)를 배포하십시오.

우리는 Inithouse에서 두 가지를 모두 운영합니다. 우리가 셀 수 있는 것(count)을 위해서는 대시보드(Dashboards)를 사용합니다. 아직 셀 수 없는 것들을 위해서는 에이전트(Agents)를 사용합니다.

직접 시도해보고 싶다면, 제품은 watchingagents.com에서 확인할 수 있습니다. 첫 번째 에이전트를 배포하고, 여러분에게 중요한 질문에 대한 확률/신뢰도(Prob/Conf) 점수를 확인해 보세요.