ChatGPT가 인용한 50,000개의 가짜 통계를 만들면서 AI 검색에 대해 배운 것들...
약 7개월 전에 저는 50,000개의 통계 자료를 담은 웹사이트를 출시했습니다. 이 통계들은 모두 가짜였습니다.
Google은 이 사이트가 존재하는 것을 잊고 페이지들을 디인덱싱(deindexed)했지만, ChatGPT는 그렇지 않았습니다. 웹사이트가 7개월 전에 라이브된 이후로, 이곳으로 10,000건 이상의 AI 세션이 유입되었습니다. 게다가 Shopify, Bluehost, DHL을 포함한 330개 이상의 추천 도메인(referring domains)이 이 사이트에 링크를 걸었습니다. 심지어 제가 꾸며낸 숫자들은 학술 논문과 은행의 투자 리서치 자료에도 등장했습니다.
Peec AI와 업계에서는 매일 GEO와 SEO에 대해 이야기하고 새로운 전술을 찾기 위해 노력합니다. 저는 오랫동안 이 통계 페이지 작업을 해왔고, 그 과정에서 일부 내용을 공개적으로 공유해 왔습니다. 물론 이것은 실험적인 것이지만, 결과는 무시하기 어려울 정도였습니다.
가짜 통계를 게시하려는 아이디어가 나온 배경
사이트에 통계 자료를 심으려는 자극은 LLMs, 관련성 엔지니어링(relevance engineering), 그리고 그라운딩(grounding)에 대해 제가 오랫동안 진행해 온 연구에서 나왔습니다 (iPullRank 팀의 Dan Petrovic과 Wil Reynolds에게 공로를 돌립니다).
제 작업 과정에서 저는 하나의 패턴을 발견했습니다. LLMs를 사용해 시간 민감적이고 속보성 콘텐츠를 작성하는 팀이 많아질수록, 해당 LLMs는 지식의 공백을 채우기 위해 연구 과정 중 (겉으로 보기에는) 신뢰할 수 있는 데이터를 찾아야만 합니다. 통계 자료가 바로 그들이 찾고 있는 것인 경우가 많습니다.
대부분의 GEO 조언은 한 순간에 초점을 맞춥니다: 브랜드가 AI 답변 안에 포함되는 것입니다. 이 실험은 답변 이후, 즉 사람들이 그 결과물을 가져와 프레젠테이션에 넣거나, 쇼핑 목록에 추가하거나, 그리고 예, 자신의 웹사이트에 게시할 때 무슨 일이 일어나는지를 살펴봅니다.
이 실험 아이디어는 저 혼자 생각해낸 것이 아닙니다. 2025년 8월에 이미 시선을 사로잡는 연구를 발표했던 Seer Interactive 덕분에 몇 가지 생각이 떠올랐고, 몇 달 후 그 생각들이 모여 마침내 제 할 일 목록의 최상단에 놓이게 되었습니다. 2026년 3월, 저는 이 아이디어를 테스트할 수 있는 웹사이트 구축 작업을 시작했습니다.
준비 과정: 하루 만에 만든 가짜 통계가 담긴 웹사이트 5만 개
실시간으로 제가 이 실험을 진행하는 과정을 따라오지 않은 분들을 위해 간단히 배경 설명을 드리겠습니다:
저는 stateglobe.com이라는 완전히 새로운 도메인을 구매했고, GPT-4.1을 이용해 하루 만에 통계 페이지 5만 개를 생성했습니다. 이 사이트는 200개국에서 SEO, 콘텐츠 마케팅, 소셜 미디어, 전자상거래, 웹 기술 관련 통계를 제공하는 것처럼 보입니다. 하지만 모든 숫자는 완전히 조작된 것입니다. 저는 단 하나도 확인하지 않았습니다. 기본적인 AI 웹 디자인 템플릿을 이용해 이 페이지들을 사이트에 올렸고, 비용은 약 $30이 들었습니다. 나중에 여기에 통계 외에 리스트 형식의 글(listicles) 15,000개를 추가했습니다. 이것은 약 $20가 더 들었기 때문에, 총합하면 이 실험은 단돈 $50이라는 매우 저렴한 비용으로 진행되었습니다.
제가 처음 이를 공유했을 때 반응은 엄청났습니다. 친구인 Kevin이 Growth Memo에 이 사이트를 소개하면서 훨씬 큰 청중에게 도달할 수 있었습니다. 저는 사람들이 이 작업에 열광적으로 반응한 이유는, AI 검색 결과에 무엇이 올라올지에 대해 사람들이 느끼는 두려움을 건드리면서도 훌륭한 결과를 보여주었기 때문이라고 생각합니다.
무슨 일이 일어났나
구글은 거의 즉시 이 사이트를 매장했다
제가 사이트를 출시했을 때, 트래픽, 색인(indexing), 참여도는 초기에 매우 좋았습니다. 인덱서 도구(indexer tools)를 사용해서 일주일 안에 거의 전체 사이트가 색인되었고, 구글 검색 결과에 나타나기 시작했습니다.
그러자 출시 직후 두 번의 구글 업데이트가 나왔고, 제 구글 가시성(Google visibility)은 무너졌습니다.
저는 몇 달 동안 Google에서 보이지 않았습니다. 색인된 페이지는 5회에서 20회의 노출(impressions) 사이를 오갔습니다. 한때 궁금해서 서브도메인을 만들어서 노출을 늘릴 수 있는지 확인해 봤지만, 별로 도움이 되지 않았습니다.
그 외에는 사이트를 건드리지 않았습니다. 어떤 페이지는 지금은 가끔 로딩조차 실패할 수도 있습니다. 잘 모르겠습니다.
하지만 이 글을 쓰려고 앉았을 때, 7개월 동안 Cloudflare의 크롤 데이터(crawl data)를 확인했습니다.
지난 30일만 해도 사이트는 bot으로부터 600,000회 이상의 요청을 받았습니다. 그중 약 72,000건은 ChatGPT-User에서 왔습니다. 이것은 ChatGPT가 누군가에게 답변하는 동안 페이지를 실시간으로 열 때 사용하는 에이전트(agent)입니다. 따라서 이것들은 학습 크롤(training crawls)이 아닙니다. 각각은 ChatGPT가 실제 질문에 답하기 위해 가짜 통계 페이지를 가져가는 것입니다.
Google과 달리, ChatGPT는 사이트에서 정보를 끌어오는 것을 멈추지 않았다
제가 '절대 멈추지 않았다'고 말할 때의 의미는 ChatGPT가 정말로 절대 멈추지 않았다는 뜻입니다.
7개월이 지난 지금, 이 사이트는 330개 이상의 추천 도메인(referring domains)을 보유하고 있습니다
Ahrefs와 Semrush에 따르면, 이 사이트는 330개 이상의 다른 사이트로부터 링크를 받았습니다. 여기에는 Shopify, DHL, Bluehost 같은 잘 알려진 브랜드들이 포함됩니다. Google에서의 성능이 좋았다면 수치는 더 좋을 수도 있었을 것입니다.
ChatGPT는 오늘날까지도 이를 인용하고 있다
Google은 이 사이트를 잊었을지 모르지만, ChatGPT는 분명히 그렇지 않습니다. 이 사이트는 출시된 지 7개월이 넘도록 계속해서 인용(citations)과 트래픽을 얻고 있습니다.
만약 Tomek의 ChatGPT Index 리서치를 읽으셨다면 행운입니다. 왜냐하면 이것은 ChatGPT 검색 작동 방식에 대한 훌륭한 입문서이기 때문입니다. 아직 못 보셨다면, 지금 바로 읽기 목록에 추가하세요. 왜 제 웹사이트가 오랫동안 ChatGPT/OpenAI 인덱스에 머물러 있었는지 설명하는 데 도움이 됩니다.
완전히 지어낸 웹사이트가 이렇게 잘 작동하고 있다는 것은 충격적입니다. 3월 이후로 GA4(Google Analytics 4)는 ChatGPT만으로도 10,000회 이상의 세션(sessions)을 보여주며, Cloudflare는 이 사이트의 검색 회수율이 높다는 것을 보여줍니다.
전체 방문 횟수에 직접적인 세션은 포함하지 않았습니다. 왜냐하면 대부분 bot 트래픽처럼 보이기 때문입니다. 데드 인터넷 이론(dead internet theory)을 기억하세요!
제가 2026년 6월 Peec에 합류한 직후, 몇 가지 프롬프트를 추적하기 위해 저희 도구에 가시성 대시보드를 구축했습니다. 그 성능은 여전히 강력합니다. 10월 7일, stateglobe.com은 데이터 강국인 Statista 바로 뒤를 이어 이 프롬프트들에 대한 가시성 순위에서 2위를 차지했습니다.
검색(Retrieval)이 곧 순위(Ranking)는 아니다
지속적인 검색을 통해 얻은 첫 번째 큰 교훈은 다음과 같습니다. 구글에서의 순위와 LLM에 의해 검색 가능한 것은 두 가지 다른 문제입니다.
ChatGPT가 검색할 때, 단순히 구글의 상위 10개 결과를 복사하는 것이 아닙니다. 사용자의 프롬프트를 자체 하위 쿼리(fanout queries)로 재작성하고, 자체 검색 소스와 캐시에서 후보들을 가져와 순위를 다시 매긴 다음, 답변을 근거화하기 위해 몇 페이지를 열어 보여줍니다. 즉, 어떤 페이지는 구글에서는 보이지 않더라도 이러한 LLM 과정의 모든 단계에서 좋은 성능을 발휘할 수 있다는 의미입니다.
StateGlobe이 좋은 예시입니다. 구글이 해당 사이트를 제외했음에도 불구하고, AI 검색 봇들은 계속해서 돌아왔습니다.
GEO에 있어서 이것은 구글 순위가 전체 그림이 아니라 단지 하나의 신호일 뿐이라는 것을 의미합니다. 만약 구글만 추적한다면, 구글이 '아니다'라고 말할 때도 작동할 수 있는 채널을 놓치게 됩니다.
가짜 데이터가 실제 인용으로 변모하다
사이트가 정보 검색 도구에서 좋은 성능을 보인다면, 그 정보가 외부로 퍼져나가기 시작할 것이라고 예상할 수 있습니다. 그리고 당신의 예상이 맞습니다.
StateGlobe은 가장 저렴한 모델과 단순히 국가 목록 및 주제에 두 문장만 추가된 프롬프트를 사용하여 완전히 가짜 데이터로 구축되었습니다. 그럼에도 불구하고, 그 결과물은…
…학술 논문에서 인용되었고…
…카타르 최대 금융 그룹의 투자 리서치에 사용되었으며…
…인도의 경제 출판물에서 인용되었고…
…캐나다 인플루언서 커뮤니티의 연구 보고서에서 출처로 사용되었습니다.
이것들은 StateGlobe 사이트로 연결된 인용들일 뿐이라는 점에 유의하십시오. 아마도 훨씬 더 많은 경우들이 링크 없이 이 데이터를 사용했을 것입니다.
불편한 시사점: 인용 세탁(citation laundering)
첫날 StateGlobe에 올라온 가짜 수치는 아무런 권위가 없었습니다. 그것은 완전히 새로운 도메인에 게시된 임의의 통계일 뿐이었습니다.
그러자 학술 논문에서 이를 인용했습니다. 그다음에는 은행이 인용했습니다. 이제 다음 사람, 또는 다음 모델이 이 숫자를 발견하면, 출처가 있는 통계를 보게 됩니다. 그리고 그 출처는 진지한 기관들에 의해 인용됩니다.
가짜 데이터가 실제로 진실이 된 것은 아니지만, 모든 인용을 거치면서 더 신뢰할 수 있게 보이도록 만들었습니다.
상황은 더 나빠질 잠재력이 있습니다. 너무 많은 검색(retrieval)과 인용을 거치면, 이 페이지들이 웹 크롤(web crawl)에 포함되고, 웹 크롤은 결국 학습 데이터(training data)에 포함됩니다 (제발 그렇지 않았으면 좋겠습니다!). GPT-4.1의 추측으로 시작한 숫자가 다음 모델이 '알게' 되는 무언가가 될 수 있습니다.
이는 이 실험이 시사하는 더 큰 위험을 보여주며, 제가 이것을 가짜 콘텐츠를 위한 플레이북(playbook)이 아니라 연구 자료로 공유하는 이유입니다. 출처 검증은 작가와 연구자의 작업 흐름(workflow)에서 필수적인 부분이 되어야 합니다.
마지막으로, 실제 데이터를 사용하여 실험을 진행해 보았습니다
Peec에 입사한 후, 저는 이 테스트의 버전을 다시 시도하기로 결정했습니다. GEO 리서치 팀으로서 우리는 그때까지의 결과를 논의했고 간단한 새 페이지를 빠르게 출시했습니다. 이번에는 꾸며낸 숫자가 없었고, 모든 통계를 확인하고 출처를 제대로 인용했습니다. 여기에서 확인할 수 있습니다: peec.ai/ai-search-geo-statistics.
거의 즉시, 저희가 AI를 사용하여 콘텐츠를 작성한다고 의심되는 사이트들로부터 링크가 들어오기 시작했습니다. 두 번째로, 다른 사이트를 이용해 통계적 콘텐츠를 게시함으로써 링크를 얻는 것이 가설적으로 강력한 전술이 현실에서도 작동한다는 것을 증명했습니다.
배운 교훈
통계를 게시하는 것이 LLM 인용으로 이어지는 이유
두 가지 테스트는 LLM이 기사를 작성하도록 요청받을 때 통계를 찾으려는 강한 선호도를 가지고 있음을 보여줍니다. 그 메커니즘은 간단합니다:
LLM을 사용하여 콘텐츠가 점점 더 많이 쓰입니다.
LLM이 글을 쓸 때, 적절한 주제를 연구합니다.
LLM이 공백(gap)에 부딪히면, 그것을 채울 숫자를 찾습니다.
이 과정 뒤에 숨겨진 이유는 똑같이 명확합니다.
연구(Research)는 통계를 요청하는 분산 쿼리(fanout queries)를 의미합니다.
프롬프트가 연구를 요구할 때, 모델은 이를 하위 쿼리로 분해하고 "통계(statistics)", "데이터(data)", "보고서(report)"와 같은 수식어 또는 프롬프트 텍스트에서 요청된 경우 현재 연도를 추가합니다. 만약 누군가 모델에게 원격 근무에 관한 블로그 게시물을 작성하도록 요청한다면, 모델은 "원격 근무 통계 2026"을 검색할 것입니다. 모델이 사람이 타이핑하는 내용보다는 모델이 검색하는 내용을 최적화한 페이지들이 LLM 결과에서 더 자주 나타납니다.
숫자는 지식 격차를 채울 수 있는 증거처럼 보입니다.
모델에게 글쓰기를 작성하도록 요청했을 때, "원격 근무가 증가하고 있다"고 말하는 페이지에 대한 인용은 권위성이 낮고 모호하게 남아 있습니다. 만약 그 페이지가 대신 "직원의 X%가 최소 주 1회 원격으로 근무한다"라고 말한다면, 갑자기 구체적이고, 인용 가능하며, 추가적인 정보가 되는 무언가가 생겨납니다. 모델이 답변을 근거지어(ground) 작성할 때, 가장 유용한 것은 특정 숫자입니다. 이러한 숫자는 증거처럼 보이지만, 이 실험에서 입증하듯이, 때로는 그렇지 않을 수도 있습니다.
모델은 그 숫자를 확인하지 않습니다.
검색 기반의 LLM 작성 콘텐츠는 지연 시간과 비용에 대한 빠듯한 예산이 있습니다. 시스템은 몇 개의 페이지를 가져와 관련 구절을 추출하고 글쓰기를 시작합니다. 사실 확인(Fact-checking)은 이 과정 어디에서도 일어나지 않습니다.
단 하나의 통계를 검증한다는 것은 독립적인 출처를 찾고, 비교하며, 충돌하는 내용을 해결해야 함을 의미합니다. 수백만 사용자의 수십억 개 프롬프트에 걸쳐 시간과 돈으로 드는 비용이 누적되어, 검증은 실질적인 목적에는 너무 느리고 비싸집니다.
이를 우회하기 위해 LLM은 관련성을 점수화하는 재순위 지정기(rerankers)를 사용하지만, 진실성(truth)을 점수화하지는 않습니다. 이는 구절이 쿼리와 일치하고 권위적으로 보이면 사용된다는 것을 의미합니다.
통계는 모델들이 가지고 있는 내재적인 최신성을 가집니다.
이전에 저는 ChatGPT가 출처를 평가하는 방식에서 보여주는 최신성 편향(recency bias)에 대해 글을 쓴 적이 있습니다. 통계 페이지에는 제목, 소제목, URL에 연도가 포함되어 있습니다. 이는 모델에게 해당 페이지의 내용이 최신 정보라는 세 가지 내장 신호입니다.
