Inithouse의 Watching Agents: 100개 이상의 자동 생성 페이지를 운영하며 측정한 AI 예측 플랫폼의 데이터
요약
AI 예측 플랫폼 'Watching Agents'를 운영하며 겪은 자동 생성 페이지의 검색 인덱싱 문제와 트래픽 품질 분석 결과를 다룹니다. 클라이언트 사이드 렌더링(SPA) 구조로 인한 Google 인덱싱 저하와 봇 트래픽 비중 문제를 기술적으로 분석합니다.
핵심 포인트
- SPA 구조로 인해 Googlebot이 하이드레이션된 콘텐츠를 인식하지 못하는 문제 발생
- 전체 세션의 약 80% 이상이 자동화된 봇 트래픽으로 확인됨
- 유료 광고 캠페인을 통한 유입 트래픽의 낮은 품질 및 구매 의도 부족 확인
- 인증 후 실제 에이전트 배포로 이어지는 활성화 퍼널의 급격한 이탈 문제
5주 동안 100개 이상의 공개 페이지를 자동 생성했음에도 불구하고, Google은 우리 AI 예측 플랫폼의 10% 미만을 인덱싱(indexing)했습니다. 우리는 검색 인덱싱(search indexation), 사용자 활성화(user activation), 트래픽 품질(traffic quality), 그리고 AI 어시스턴트가 제품을 어떻게 인식하는지를 추적했습니다. 그 결과는 우리가 배포(distribution)에 대해 생각하는 방식을 재정립했습니다.
Watching Agents는 Inithouse에서 구축한 AI 예측 플랫폼입니다. 미래에 관한 어떤 질문에 대해서도 에이전트(agent)를 배포할 수 있습니다. 에이전트는 가설을 세우고, 실제 출처로부터 증거를 추적하며, 신뢰 등급(confidence ratings)과 함께 확률 점수(probability score)를 계산하고, 조건이 변할 때 알림을 보냅니다. 2026년 6월 중순 이후로, 자동화된 크론 잡(cron job)이 매일 새로운 공개 에이전트 페이지를 생성합니다. 각 페이지에는 확률 분석(probability breakdowns), 가설 트리(hypothesis trees), 증거 타임라인(evidence timelines), 동인 평가(driver assessments), 그리고 관찰 신호(watch signals)와 같은 구조화된 분석이 포함됩니다.
우리는 첫날부터 모든 것을 측정하기로 결정했습니다.
Google은 거의 알아차리지 못했다
전체 사이트맵(sitemap)과 함께 공개 에이전트 카탈로그를 출시한 지 5주가 지났을 때, Google은 제출된 270개 이상의 URL 중 약 25개만을 인덱싱했습니다. 순위가 매겨진 소수의 페이지의 평균 순위는 약 34위였습니다. 28일 동안의 총 유기적 클릭(organic clicks)은 0건이었습니다.
원인은 아키텍처(architectural)에 있습니다. Watching Agents는 React를 기반으로 구축된 클라이언트 렌더링 SPA(Single Page Application)입니다. Googlebot은 HTML 셸(shell)은 보지만, 하이드레이션(hydrated)된 콘텐츠는 보지 못합니다. 우리는 Vite 빌드 플러그인을 통해 메타 태그(제목, 설명, Open Graph)를 사전 렌더링(prerender)하지만, 페이지 본문은 클라이언트 측 JavaScript에 의존합니다. 데이터베이스에서 가져온 구조화된 예측 데이터를 각각 포함하는 에이전트 페이지의 경우, 이는 우리가 예상했어야 할 배포의 장벽(distribution wall)입니다.
방문자의 대부분은 봇이었다
전형적인 7일간의 기간 동안, 세션의 78~89%가 우리의 분석 도구에 의해 자동화된 것으로 분류되었습니다. 인간의 세션은 평균 약 14초의 참여(engagement)를 기록했습니다. 직접 트래픽(Direct traffic)은 전체 방문의 약 74%를 차지했으며, 세션당 평균 참여 시간은 2초 미만이었습니다.
문제의 일부는 유료 트래픽(paid traffic)의 품질입니다. 우리는 실적 최대화 캠페인 (Performance Max campaigns)을 운영하고 있는데, 세션 녹화 (session recordings)를 통한 참조자 분석 (referrer analysis) 결과, 신디케이트 검색 파트너 (syndicated search partners) 및 가치가 낮은 광고 네트워크 (low-value ad networks)를 통해 유입되는 트래픽이 확인되었습니다. 지리적 분포 (Geo distribution) 또한 구매 의도 (purchase intent)가 낮은 지역으로 치우쳐 있었습니다.
인증 후 활성화 퍼널 (activation funnel)의 붕괴
인증 모달 (authentication modal)을 연 방문자 중 전체 에이전트 배포 (agent deployment)를 완료한 비율은 1% 미만이었습니다. 채팅 기반의 온보딩 흐름 (onboarding flow) (사용자가 무엇을 모니터링하고 싶은지 설명하면 시스템이 에이전트를 생성하는 방식)이 마찰 지점 (friction point)인 것으로 드러났습니다. 사용자들이 대화를 시작은 했지만, 끝까지 마치지는 않았습니다.
에이전트 페이지 자체의 데드 클릭 (dead click) 비율은 24%를 기록했습니다. 스크롤 깊이 (Scroll depth)는 평균 84%로, 방문자들이 콘텐츠를 읽었다는 것을 의미합니다. 다만 다음에 무엇을 해야 할지 파악하지 못했을 뿐입니다. 분석 콘텐츠는 효과가 있었지만, 행동 유도 (calls to action)는 작동하지 않았습니다.
AI 인식 (AI recognition)은 다른 이야기를 보여주었습니다
5월 말 이후 매주, 우리는 Watching Agents가 적합한 동일한 유스케이스 (use-case) 질문을 네 가지 AI 시스템 (ChatGPT, Claude, Gemini, Perplexity)에 던졌습니다. 우리는 인식 여부, 인용된 출처 (cited sources), 그리고 추천 품질 (recommendation quality)을 기록했습니다.
첫째 주: 네 개 중 하나가 우리를 인식했습니다. 6주 후: 네 개 중 네 개 모두가 인식했습니다.
그 과정은 선형적이지 않았습니다. 인식 여부는 실행할 때마다 뒤바뀌었습니다. Claude는 어느 날은 우리를 찾아냈다가 다음 날은 놓치기도 했습니다. Perplexity는 세 번의 실행 동안 인식을 유지하다가 이후 완전히 놓쳤습니다. 우리가 파악한 메커니즘은 다음과 같습니다. 각 AI는 단일 외부 출처 (external source)에 의존하며, 그 출처는 시스템마다 달랐습니다.
ChatGPT는 우리의 IndieHackers 포스트를 인용했습니다. Claude는 dev.to 기사에 의존했습니다. Perplexity는 Medium 포스트를 사용했습니다. Gemini는 6회 연속 실행 동안 눈에 보이는 인용은 없었으나 일관되게 우리를 추천했습니다. 특정 출처가 시스템의 검색 창 (retrieval window)에서 제외되면, 인식 여부도 함께 떨어졌습니다.
인식(Recognition)이 곧 추천(Recommendation)은 아니었습니다
6주 차에 접어들면서 네 가지 시스템 모두 Watching Agents를 식별할 수 있게 되었습니다. 하지만 실제 에이전트 상세 페이지를 가져와 파싱(parse)하는 데 성공한 Claude는 가장 회의적인 리뷰를 내놓았습니다. Claude는 제3자 검증의 부재를 지적하며 우리를 "입증되지 않은(unproven)" 상태로 분류했고, Manifold와 Metaculus를 더 안전한 대안으로 제안했습니다.
Claude가 우리에 대해 더 많은 데이터를 가질수록, 모델은 더욱 신중해졌습니다. 우리의 투명성(공개된 지표, 초기 트랙션에 대한 솔직한 포스트)이 오히려 회의론의 근거를 제공했습니다. 공개적으로 구축하는 것(Building in public)은 AI의 인식(recognition)을 유도하지만, 발견되게 만드는 그 솔직함이 동시에 주의 사항이 포함된 자격 검증을 불러오기도 합니다. 우리가 읽었던 AEO(AI 엔진 최적화) 플레이북 중 그 누구도 이러한 트레이드오프(trade-off)에 대해 언급하지 않았습니다.
반면 Gemini는 가시적인 출처가 전혀 없음을 인용하며, 6주 연속으로 우리에게 "강력 추천(highly recommended)" 등급을 부여했습니다.
우리가 얻은 세 가지 교훈
배포(Distribution)가 제품(product)을 이깁니다. 에이전트 페이지들은 정보 밀도가 높고 구조화되어 있으며, 검색 엔진과 AI 모두 파싱(parse)하기 용이합니다. 하지만 Google이 콘텐츠를 렌더링할 수 없거나, 봇이 가득한 광고 네트워크로부터 유료 트래픽이 유입되는 상황이라면 이 모든 것은 의미가 없습니다.
공개적으로 구축하는 것(Building in public)은 AEO 채널로서 작동합니다. Medium, IndieHackers, dev.to에 올린 우리의 포스트들은 AI 어시스턴트가 Watching Agents를 발견하고 설명하는 주요 경로가 되었습니다. 특정 크롤러가 우리의 SPA(Single Page Application)에 접근할 수 없었던 날에도, 제3자 기사들이 인식을 유지해 주었습니다.
소스의 중복성(Source redundancy)이 소스의 품질(source quality)을 이깁니다. 하나의 AI 시스템이 인용하는 하나의 훌륭한 기사는 취약합니다. 세 개의 플랫폼에 걸쳐 있는 세 개의 적절한 기사가 각각 서로 다른 AI에 의해 채택되는 것이 훨씬 더 회복 탄력성(resilient)이 높다는 것이 증명되었습니다. 이제 우리는 AI 검색(retrieval) 과정에서의 단일 장애점(single-point-of-failure) 위험을 줄이기 위해 의도적으로 여러 채널에 콘텐츠를 배포합니다.
Watching Agents는 Inithouse에서 구축하는 15개 이상의 제품 중 하나입니다. 다른 제품들은 더 진척되어 있습니다. Ziva Fotka (AI 사진 애니메이션)는 꾸준한 수익을 내고 있으며, Be Recommended (AI 가시성 모니터링)는 저희 포트폴리오에서 가장 강력한 AI 인용 신호 (AI citation signals)를 생성합니다. Watching Agents는 초기 단계에 머물러 있습니다. 기술적으로는 견고하지만 상업적으로는 아직 검증되지 않았으며, 저희가 의도하지 않은 방식으로 AI에 노출되고 있습니다.
저희는 계속해서 측정하고 있습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 Dev.to AI tag의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기