모든 웹 데이터 도구가 'AI용'이라고 말합니다. 그래서 AI에게 직접 물어봤습니다.

저는 198개의 실제 구매자 질문을 5개의 AI 엔진에 통과시킨 후, 독립적인 데이터셋을 통해 검증하여 웹 스크레이핑 (Web Scraping) 분야에서 실제로 인용되는 곳이 어디인지 찾아냈습니다. 스코어보드는 저를 두 번 놀라게 했습니다. 한 번은 제 헤드라인 자체가 틀렸다는 사실을 알게 되었을 때였습니다.

순위 추적기 (Rank trackers)는 Google에서 당신의 위치가 어디인지 알려줍니다. 하지만 ChatGPT, Perplexity, 또는 AI 개요 (AI Overview) 내부에서 당신의 위치가 어디인지는 아무도 말해주지 않습니다. 이는 매우 불편한 일인데, 왜냐하면 당신의 구매자들이 바로 그곳으로 이동했기 때문입니다.

그래서 저는 추적기를 직접 만들었습니다. 그런 다음 실제 돈이 흐르는 카테고리인 웹 데이터 도구 (Web-data tooling) 분야를 겨냥했습니다. Firecrawl, Apify, Bright Data, ScrapingBee, 그리고 스스로를 AI를 위한 인프라 계층 (Infrastructure layer)이라고 설명하는 22개의 다른 벤더들이 대상입니다. 좋습니다. AI에게 물어봅시다.

분명히 말씀드리자면, Firecrawl 측에서 요청한 것은 아닙니다. 제가 그들을 선택한 이유는 그들이 이 카테고리에서 가장 탄력 있는 성장 스토리, 즉 "LLM을 위한 모두가 선호하는 스크레이핑 도구"이기 때문입니다. 이는 제가 고객들에게 계속해서 던지는 질문인 **"AI 시대의 버즈 (Buzz)가 AI 시대의 인용 (Citations)으로 전환되는가?"**를 테스트하기에 완벽한 대상입니다.

대체로 그렇습니다. 부분적으로는 아닙니다. "아니오"라고 답하는 지점에서 흥미로운 결과가 나타납니다.

방법론 (반론을 제기하실 수 있도록)

• 198개의 쿼리 (Queries): 웹 데이터 도구를 평가하는 개발자가 실제로 던지는 질문들을 8개의 의도 클러스터 (Intent clusters)에 걸쳐 구성하였으며, 각 쿼리는 의도 가중치(intent_weight) × 수익 근접성(revenue_proximity)으로 점수를 매겼습니다. "웹 스크레이핑이란 무엇인가"와 같은 단순한 질문이 아니라, 비교, 가격 책정, 수행해야 할 과업 (Jobs-to-be-done), "Y를 위한 최고의 X"와 같은 쿼리들입니다.
• 5개의 인터페이스 (Surfaces): Perplexity-Sonar와 GPT-4o-search (둘 다 실제 인용을 반환함), Claude와 Gemini (실시간 브라우징 없음 — 모델이 프롬프트 없이 누구를 언급하는지, 즉 _프레이밍 (Framing)_을 측정함), 그리고 실시간 웹 SERP 계층을 포함합니다. 198 × 5 = 990개의 셀 (Cells), 오류 제로.
• 독립적 검증: DataForSEO의 LLM 언급 코퍼스 (LLM-mentions corpus, 약 10,000건의 언급, 그 중 약 90%가 Google AI Overviews)와 실시간 Google SERP 및 광고 물량/CPC 데이터를 활용했습니다. 서로의 존재를 모르는 두 개의 데이터셋입니다.
• 카운팅 방식은 쿼리 커버리지 (Query-coverage)를 따릅니다. 즉, 한 벤더는 인터페이스당 쿼리당 최대 한 번만 점수를 얻으므로, 인용이 많이 된 리스트클 (Listicle) 하나가 특정 업체의 수치를 부풀릴 수 없습니다.

이 모든 것은 단순한 느낌 (Vibes)이 아닙니다. 스크립트를 다시 실행하여 검증할 수 있습니다.

결과 1: "AI 인용의 선두주자가 누구인가"는 어떤 AI에게 묻느냐에 따라 전적으로 달라집니다

저의 첫 번째 헤드라인은 다음과 같았습니다: Firecrawl은 인용 횟수 1위의 웹 데이터 벤더(vendor)이다. Perplexity에서는 사실이었습니다. 25%를 기록하며 15%인 Apify를 여유 있게 앞섰습니다.

하지만 독립적인 데이터셋이 도착했고 저의 오류를 바로잡았습니다. Google AI Overviews에서는 Firecrawl이 20%로 3위였으며, ScrapingBee(31%)와 Bright Data(28%)에 뒤처졌습니다. 이 두 곳은 10년 치의 콘텐츠와 백링크(backlinks)를 보유한 기존 강자들입니다. ChatGPT-search에서는 Firecrawl이 14%로 3위에서 세 업체가 공동 순위를 기록했으며, Apify(21%)에 뒤처져 있었습니다.

동일한 벤더, 동일한 달. 엔진에 따라 1위, 3위, 그리고 3위가 되었습니다.

여기서 얻는 교훈은 일반화될 수 있습니다: 단일 플랫폼에서의 AI 가시성(AI-visibility) 수치는 측정(measurement)이라기보다 마케팅에 가깝습니다. Perplexity는 현재 개발자들이 서로에게 추천하는 내용으로 편향되어 있습니다. AI Overviews는 수년간 Google에서 상위 순위를 유지해 온 내용으로 편향되어 있습니다. 만약 어떤 벤더(또는 당신에게 "AI 가시성 추적"을 판매하는 도구)가 하나의 수치만을 인용한다면, 어떤 엔진인지 물어보십시오. 그 답변이 전체 이야기의 핵심입니다.

결과 2: 브랜드 쿼리(branded queries)는 100%, 그 직전 단계는 ~0%

Firecrawl은 조사 대상의 모든 브랜드 쿼리—비교, "사용할 가치가 있는가", 가격, 대안 등—에서 사실상 승리합니다. 198개의 쿼리 중 143개에서 이름이 언급되었으며, 이는 어떤 벤더보다도 높은 수치입니다. 누군가 이미 이름을 알고 있다면, AI 엔진들은 좋은 말밖에 하지 않습니다.

문제는 그 직전 단계입니다. 구매자가 아직 후보 목록을 가지고 있지 않은 상태에서 던지는 "이 문제를 실제로 어떻게 해결하나요"와 같은 비브랜드(unbranded), 고의도(high-intent) 질문에서는, 경쟁사가 인용되는 반면 Firecrawl은 아예 언급조차 되지 않는 **44개의 명확한 공백(gaps)**이 존재합니다.

평판(Reputation)은 훌륭합니다. 발견성(Discovery)은 새고 있습니다. 이것은 해결책이 다른 별개의 문제임에도 불구하고, 거의 모든 이들이 이를 하나의 "브랜드 인지도(brand awareness)\

44개의 격차(gap)는 무작위로 발생한 것이 아닙니다. 이들은 하나의 일관된 테마, 즉 하드 타겟 스크래핑 (hard-target scraping) — 봇 방지 회피(anti-bot evasion), Cloudflare, 로그인 후 데이터 추출(behind-login), IP 차단 없이 대규모로 스크래핑하기 — 으로 모입니다. 이러한 쿼리에 대해 검색 엔진은 구매자를 프록시 전문 기업(Bright Data, Oxylabs, ScraperAPI)이나 직접 구현하는 Playwright 튜토리얼로 안내합니다. 구조화된 이커머스 추출(Structured e-commerce extraction)은 Apify와 Octoparse로 연결됩니다.

수치를 살펴보면: Firecrawl의 인용 점유율은 **격차 테마(gap themes)에서 12.6%인 반면

격차 테마 (gap-theme) 검색 결과 페이지(SERPs)와 LLM 코퍼스(corpus) 전반을 살펴보면, 엔진들이 실제로 인용하는 소스는 **Reddit (27회 등장), GitHub (12회), Medium (9회), YouTube, 그리고 소수의 인디 리스트클(listicles, 목록형 기사)**입니다. 이는 어떤 벤더(vendor)의 자체 블로그보다도 일관되게 높은 순위를 차지합니다. LLM 언급 코퍼스(LLM-mentions corpus) 내에서 YouTube와 Reddit은 대부분의 쿼리(query)에서 가장 많이 인용되는 단일 도메인입니다.

이것은 귀하의 자체 도메인에서 글을 잘 쓴다고 해서 해결될 문제가 아닙니다. 엔진들이 읽는 곳에서 진정으로 유용한 역할을 수행해야 합니다. 즉, r/webscraping에서 Cloudflare 관련 질문에 답하고, 실행 가능한 GitHub 쿡북(cookbook)을 배포하며, 클릭당 비용(CPC)이 15~40달러에 달하는 키워드를 점유하고 있는 리스트클(listicles)에 이름을 올리는 것입니다. 이는 화려하지 않고, 복리 효과를 일으키며, 거의 누구의 직무 기술서에도 포함되지 않는 일입니다.

DevTools 기업을 운영 중이라면 이것이 의미하는 바

1. "AI 가시성(AI visibility)"이 아니라 엔진별 인용 점유율(share-of-citation)을 측정하세요. 엔진별 분할 데이터가 곧 진단 결과입니다. (Perplexity 점유율은 높고 AIO 점유율은 낮다면 = 커뮤니티는 당신을 좋아하지만, 권위(authority)가 아직 따라잡지 못한 상태입니다. 그 반대라면 = 정반대의 문제입니다.)
2. 회상(recall)과 발견(discovery)을 분리하세요. 브랜드 키워드(branded)와 비브랜드 키워드(unbranded) 쿼리 세트를 독립적으로 실행하세요. 자신의 브랜드 이름을 검색 결과에서 이기는 것은 그 직전 단계의 상황에 대해 아무것도 알려주지 않습니다.
3. 귀하의 '타입캐스트 문장(typecast sentence)'을 찾으세요. 엔진에 20개의 비브랜드 '해결해야 할 과업(jobs-to-be-done)' 질문을 던지고, 엔진이 귀하에게 부여하는 역할이 무엇인지 읽어보세요. 만약 그 역할이 귀하의 제품보다 좁게 정의되어 있다면, 그것이 바로 귀하의 포지셔닝 백로그(positioning backlog)입니다.
4. 유기적 격차(organic gap)를 먼저 해결하세요. 1페이지 부재와 인용 부재는 동일한 결함입니다.
5. 공급망(supply chain)을 위한 예산을 편성하세요. Reddit, GitHub, YouTube, 리스트클(listicles) — 우리가 측정할 때마다 제3자 플랫폼(third-party surfaces)이 인용 측면에서 귀하의 블로그를 매번 압도했습니다.

이 프로세스의 프레임워크는 재사용 가능합니다. 198개의 쿼리, 5개의 엔진, 독립적인 검증을 통해 어떤 카테고리든 하루 정도의 작업이면 분석할 수 있습니다. 저는 이를 매달 실행합니다. 첫 실행은 고통스럽지만, 그 이후부터는 점수판을 확인하는 과정이 됩니다.

Firecrawl, 이 글을 읽고 있다면: 당신은 엔진들이 신뢰하는 곳에서는 승리하고 있지만, 모든 사람의 어머니가 사용하는 곳에서는 뒤처지고 있습니다. Perplexity를 방어하세요. 그리고 Google을 정복하세요. 제가 어디 있는지 아실 겁니다.

Daria Dovzhikova는 GTM Labs를 운영하고 있습니다. GTM Labs는 개발자 우선 (developer-first) GTM (Go-To-Market) 전략을 DevTools, 보안, 그리고 AI/ML 스타트업에 제공하며, 인간 참여형 (human-in-the-loop) 에이전트 함대 (agent fleet) 형태로 전달됩니다. 이 글에 사용된 AI 가시성 (AI-visibility) 하네스는 고객 작업에 사용되는 것과 동일한 것입니다. gtm-labs.co