홈페이지의 H1 태그에는 "Home"이라고 적혀 있었습니다. 그게 H1의 전부였습니다. 저는 그것을 이 학교가 무엇인지, 어디에 있는지, 무엇을 가르치는지 설명하는 문장으로 교체했고, 사이트는 3페이지에서 1위 위치로 올라갔습니다. 타이핑하는 데는 4초가 걸렸습니다.

아무도 그 4초에 대해 비용을 지불하지 않습니다. 비용이 청구되는 부분은, 그 사이트에서 할 수 있는 다른 300가지의 정당하고 그럴듯한 변경 사항들(LLM에게 목록을 요청하면 모두 나열될 법한 것들)이 아니라, 바로 '그 단어'가 정답이었다는 것을 알아낸 지식에 대한 비용입니다.

그래서 누군가 자기 아들(컴퓨터를 좀 아는 아이)이 ChatGPT를 사용해 SEO를 전부 새로 했고, 사이트가 활성화되었으며 아주 멋져 보인다고 스스로 뿌듯해하며 말할 때... 당신은 뭐라고 말해야 할까요?

당신이 어떤 말을 하든, 당신의 입에서 나오는 말은 자신의 마진(margin)을 방어하려는 사람처럼 들릴 것입니다. 그리고 그 사람이 그렇게 생각한다 해도 틀린 것은 아닙니다.

그 수치가 의미하지 않는 것

그 사이트는 작은 대안 학교의 것이었습니다. 학생 40명, 전적으로 입소문에 의해 만들어진 대기 명단, 그리고 출시 이후 한 번도 손대지 않은 홈페이지를 가지고 있었죠. 그들은 지역 학부모들이 그런 종류의 교육을 찾을 때 검색 결과에 노출되기를 원했지만, 3페이지에 머물러 있었습니다.

누군가 H1을 다시 쓰러 달려가기 전에, 여기서 쿼리(query)가 대부분의 역할을 수행했다는 점을 알아야 합니다. 지역적 의도(Local intent), 낮은 검색량, 세미 브랜디드(semi-branded) 성격, 해당 지역에서 한 달에 약 60명 정도가 검색하는 정도였습니다. 경쟁이 치열한 키워드가 아니었습니다. 경쟁이 치열한 키워드에서는 동일한 수정 작업이 아무런 효과도 내지 못하며, 그렇지 않다고 말하는 사람은 당신에게 무언가를 팔려고 하는 사람입니다.

이 작업이 효과를 본 이유는, 순위를 높이려는 페이지에서 해당 페이지가 무엇인지에 대한 가장 강력한 온페이지 신호(on-page signal)가 단지 당신이 어딘가에 도착했다는 사실 외에는 아무것도 말해주지 않았기 때문입니다.

11일 후, 다음 실제 재크롤(recrawl)이 이루어졌을 때 Search Console에 1위로 나타났습니다. 그것은 즉각적인 것도, 마법도 아니었습니다. 그저 경쟁이 거의 없는 쿼리에 대해, 페이지가 마침내 자신이 무엇인지 말하게 된 것뿐입니다.

아무도 4초에 대해 비용을 지불하지 않는다

클라이언트는 제가 4초 동안 타이핑하는 것을 보았습니다. 그는 그 전의 2시간을 보지 못했습니다. 그리고 그 2시간을 그에게 정직하게 보여줄 방법은 없습니다. 왜냐하면 그 2시간 동안 일어난 일은 대부분 '제거(elimination)'였기 때문입니다.

그 사이트에는 방어 가능한(defensible) 변경 사항이 약 300개 정도 있었습니다. 이미지는 최적화되지 않았고, 내부 링크(internal linking)는 빈약했으며, 페이지의 절반은 메타 설명(meta description)이 없었고, 문의 페이지는 PDF 형식이었으며, 블로그는 2019년 이후로 방치되어 있었습니다. 이 모든 것들은 실제 감사(audit)를 수행한다면 목록에 올릴 법한 실질적인 발견 사항들이며, 어떤 모델이든 8초 만에 기꺼이 나열해 줄 수 있는 것들입니다. 이 중 모든 항목이 무언가를 개선했을 것입니다. 하지만 그중 정확히 단 1개만이 그 사이트가 3페이지에 머물러 있는 이유였습니다. 그리고 어떤 것이 그 하나인지 알 수 있는 유일한 방법은, 사이트가 이미 어떤 쿼리(queries)로, 어떤 순위(positions)에서 랭킹을 유지하고 있는지 살펴보고, 홈페이지가 학교 이름 자체로만 노출(impressions)을 일으키고 그 외에는 아무것도 안 된다는 사실을 알아차리는 것뿐이었습니다. 이것은 지능이 아닙니다. 이것은 모델이 가지고 있지 않으며 추측할 수도 없는 데이터이며, 전체 작업은 300개의 정답 앞에 서서 변화를 일으킬 단 1개를 골라내는 일입니다.

청구되는 비용은 제가 건드리지 않은 299가지 항목에 대한 것입니다.

레이드(raid)를 해본 사람이라면 누구든, 장비를 갖춘 캐릭터가 승리하는 이유가 더 강력하게 타격하기 때문이 아니라는 것을 압니다. 그는 어떤 몹(mob)을 끌어올지(pull), 어떤 몹을 내버려 둘지를 알기 때문에 승리합니다. 잘못된 몹을 끌어오면 당신의 로테이션(rotation)이 아무리 깔끔하더라도 파티는 전멸(wipe)합니다.

그리고 이것이 제가 수년간 막혀 있었던 지점입니다. 제가 방금 쓴 모든 내용은 사실이며, 동시에 자신의 인보이스(invoice)를 방어하려는 사람이 쓸 법한 내용이기도 합니다. 저에게 이득이 되지 않는 형태의 논쟁은 존재하지 않습니다. 이러한 의구심은 구조적인 것이며 불공정한 것이 아닙니다. 그렇지 않은 척하는 것이야말로 제가 할 수 있는 가장 '벤더(vendor, 공급업체)'다운 행동일 것입니다.

그렇기에 저는 이 논쟁을 멈추고 사람들에게 '샤워실'에 대해 이야기하기 시작했습니다.

경사가 없는 샤워실

제 친구 중 한 명은 엔지니어인 처남에게 욕실 리모델링을 맡겼습니다. 타일 작업은 깔끔했고, 샤워 니치(niche)는 반듯했으며, 줄눈(grout)은 완벽했습니다. 저는 사진을 보았습니다. 그녀가 거절했던 이전 견적 2개보다 훨씬 더 나은 작업이었습니다.

바닥에는 경사가 없었습니다. 샤워실 바닥(shower base)은 배수구를 향해 미터당 약 1cm 정도의 경사가 있어야 하며, 이 수치는 알고 있다면 공짜이고 모른다면 보이지 않는 법입니다. 타일이 말라 있는 동안에는 평평한 바닥이 전혀 잘못되어 보이지 않습니다.

8개월 후, 고여 있던 물이 칸막이 벽을 타고 복도로 흘러 들어갔습니다. 수리 견적은 그녀가 피했던 타일공이 청구했을 금액보다 더 높게 나왔습니다. 그는 일을 잘했습니다. 문제는 칭찬이 멈춘 지 8개월이 지나서야 비로소 모습을 드러냈습니다.

ChatGPT로 구축한 사이트의 실제 모습

TITLE "What The Crawler Actually Sees" + subtitle "1 pretty page, 5 invisible defects". Metaphor: a house facade on the left with a clean painted front, and a cutaway cross-section on the right revealing the framing behind it, with 5 structural faults tagged like a building inspection report. Style: engineer blueprint, technical drawing on grid paper, thin precise linework, hand-lettered annotation labels and callout arrows. Palette: navy #14213D, amber #FCA311, muted red #C1121F, pale grey #E8E8E4, black #111111. Content: left half shows the rendered facade labeled BROWSER VIEW with a green tick and the caption "loads fast, looks great". Right half shows the cutaway labeled CRAWLER VIEW with 5 numbered faults tagged along the structure, 1 DUPLICATE TITLES, 2 PAGES COMPETING ON ONE QUERY, 3 GENERIC COPY NO LOCATION, 4 HEADING ORDER BROKEN, 5 NEVER INDEXED. Highlight: fault 5 NEVER INDEXED drawn twice the size of the others in muted red with a hatched danger zone around it. Legend: small taped note bottom-left, "solid line = visible to a human / dashed line = visible only to a crawler". Footer: © rentierdigital.xyz bottom-right, small, handwritten. NOT flat corporate vector, NOT minimalist tech startup aesthetic.

브라우저 vs 크롤러 (Crawler): 숨겨진 SEO 문제의 폭로

작은 네일 살롱이 있습니다. 게일(Gail)의 가게라고 부릅시다. 이 사이트는 지난 봄, 컴퓨터를 좀 아는 그녀의 아들이 이틀 밤 동안 수많은 프롬프팅 (prompting)을 거쳐 새로 만들었습니다. 로딩은 빠르고, 사진은 멋지며, 예약 버튼도 잘 작동합니다. 화면상으로는 이전 사이트보다 훨씬 더 나은 사이트입니다.

그다음, 크롤러 (crawler)가 하는 방식대로 사이트를 열어보십시오.

• 동일한 쿼리 (query)를 두고 경쟁하는 4개의 페이지가 있어, Google은 그중 하나만 선택하고 나머지는 대부분 무시합니다.
• 모든 경로 (route)에 동일한 타이틀 태그 (title tag)와 동일한 메타 설명 (meta description)이 적용되어 있습니다. 한 번 생성된 것을 모든 곳에 복사해서 붙여넣었기 때문입니다.
• 일반적인 네일 살롱을 설명하는 카피 (copy)만 있을 뿐, 그녀의 가게에 대한 설명은 전혀 없습니다. 거리도, 동네도, 19년 동안 이 일을 해온 여성의 이름도 없습니다.
• 2개의 페이지에서 H1 위에 H2가 위치해 있습니다. 템플릿이 섹션 헤더를 먼저 배치했고 순서를 확인하지 않았기 때문입니다.
• 인덱싱 (indexing)된 적이 없는 6개의 페이지가 있습니다. 확인하는 데 약 40초가 걸리며, 한 번도 검증된 적이 없습니다.

이 모든 것들은 렌더링된 (rendered) 페이지에서는 보이지 않습니다. 사이트는 그녀의 컴퓨터에서도, 당신의 컴퓨터에서도, 그녀의 아들 컴퓨터에서도 잘 작동합니다. 그리고 바로 그것이 문제입니다. 브라우저 상의 그 어떤 것도, 검색 엔진의 관점에서 볼 때 사이트의 절반이 존재하지 않는다는 사실을 당신에게 알려주지 않을 것입니다.

만약 당신의 사이트도 작년에 똑같은 무료 호의를 받아서 약간 속이 메스꺼운 기분으로 이 글을 읽고 있다면, 그것이 올바른 반응입니다. 가서 확인해 보세요. 기다려 드릴 테니, 나머지 기사는 어디로 도망가지 않습니다.

만약 당신의 사이트가 브로슈어 형태가 아닌 앱(App)이라면, 실패 지점(failure surface)은 달라질 수 있지만 보이지 않게 되는 현상은 변하지 않습니다. 저는 vibe-coded 앱 11개에 대해 동일한 감사(audit)를 수행했고, 그 패턴은 그대로 유지되었습니다. 빌더 대시보드(builder dashboard)는 90점의 SEO 점수를 보고했지만, 크롤러(crawler)는 빈 div 태그를 받았습니다.

SEO 에이전시로서 답변이 이런 식으로 결론 나도록 하는 데 직접적인 물질적 이해관계가 있는 Graphite는, 보통 1개를 사용하는 대신 평균 3개의 AI 탐지기(AI detectors)를 통해 55,400개의 Common Crawl URL을 실행했습니다. 대부분 AI로 생성된 기사의 비중은 지난 5분기 동안 50% 근처에서 정체되어 있었습니다. 그들의 초기 검사에서는 Google에서 순위가 매겨진 기사의 86%가 사람이 작성한 것이었으며, 검색 결과에 나타나는 AI 기사들은 낮은 순위에 머무는 경향이 있다는 것을 발견했습니다. Axios는 동일한 연구를 독립적으로 다루며 탐지기의 4.2% 오탐률(false positive rate)과, 유료 결제 사이트(paywalled sites)가 Common Crawl을 차단하여 인간이 작성한 글의 수가 과소 집계될 수 있다는 사실을 지적했습니다.

또한 EBU와 BBC의 연구에 따르면 전문 기자들이 3,000개 이상의 어시스턴트 답변을 평가했을 때, 45%가 적어도 1개의 중대한 문제를 가지고 있었습니다. 해당 연구는 ChatGPT, Copilot, Gemini, Perplexity의 무료 소비자 버전을 대상으로 뉴스 질문을 다룹니다. 그 연구는 SEO에 대해 언급하지 않으며, 저 또한 그런 척하지 않겠습니다. 제가 이 연구를 언급하는 이유는 그것이 측정하는 바, 즉 이러한 도구들이 근거(ground truth)가 없는 질문에 얼마나 자신 있게 답변하는지를 보여주기 때문입니다. 당신의 순위(rankings)는 그들에게 근거가 없는 질문입니다.

이 모든 것은 집계된 웹 데이터입니다. 이것은 Gail의 사이트에 대해서도, 당신의 사이트에 대해서도 그 무엇도 증명하지 않습니다. 이것은 기본율(base rate)이며, 기본율은 사람들이 실제 사례를 측정할 수 없을 때 찾는 수치입니다.

자동차를 잘 다루는 사촌

작년에 위탁 판매장에서 Mercedes 한 대를 발견했습니다. 좋은 차였고, 가격도 좋았으며, 사라지기 전에 스크린샷을 찍어둬야 할 그런 매물이었습니다. 3일 이내에 인도를 약속받았습니다.

3일이 지났습니다. 아무 일도 없었습니다.

전화를 했습니다. 이유가 있었습니다. 일주일이 지났을 때 또 다른 이유가 생겼고, 그 이유는 더 모호해졌습니다. 15일째 되는 날, 저는 예의를 차리는 것을 그만두고 실제 답변을 들었습니다. 그 차는 애초에 판매장에 있었던 적이 없다는 것이었습니다. 15일 동안 그 Mercedes는 동시에 두 장소에 존재하고 있었는데, 이는 입자 (particle)에게는 훌륭한 속성이지만, 제가 이미 계약금 (deposit)을 지불한 자동차에게는 나쁜 속성입니다. 차는 자동차를 잘 다루는 사촌 (the cousin-who's-good-with-cars)에게 가 있었고, 그는 대시보드 디스플레이의 결함을 해결하고 있었습니다. 다 괜찮아질 것이라고 했습니다.

그로부터 일주일 후, 저는 자동차를 잘 다루는 사촌이 잘못된 부품을 주문했다는 사실을 알게 되었습니다.

저는 계약을 취소했습니다.

그는 스스로는 절대 알지 못할 것입니다

딜러는 이미 팔아버린 차에 대해 확정된 판매 기회를 놓쳤습니다. 그는 그 사실을 결코 알지 못했습니다. 그의 입장에서 보자면, 구매자가 조용해졌고 차는 결국 몇 주 늦게, 조금 더 낮은 가격으로 다른 사람에게 넘어갔을 뿐입니다. 어떤 보고서에도 "사촌 때문에 놓침"이라고 적힌 항목은 없으며, 그 비용은 그가 확인할 수 있는 곳 어디에도 기록되지 않았습니다.

이것이 문제 전체의 형상입니다. 컴퓨터를 잘 아는 아들 (the son-who-knows-computers) 역시 결코 알지 못할 것입니다. 왜냐하면 Gail은 단 하나의 사이트와 단 하나의 타임라인 (timeline)을 가지고 있으며, 이전의 저장 지점 (earlier save)을 불러와 모든 페이지에 실제 타이틀 태그 (title tag)를 적용한 채 일 년을 다시 실행하며 어떤 차이가 있었을지 확인할 수 없기 때문입니다. 그녀는 예약이 들어오거나 들어오지 않거나를 볼 뿐이며, 어느 쪽이든 그것을 계절, 동네, 혹은 자신의 가격 탓으로 돌립니다. 일어나지 않은 일에 대한 송장 (invoice)은 존재하지 않습니다.

작업과 결과 사이의 간극은 길게 이어집니다. 그 샤워실 바닥 공사가 8개월 동안 이어졌던 것과 마찬가지입니다. 결과가 읽힐 수 있을 정도가 되었을 때, 원인은 이미 흥미를 잃은 상태가 됩니다.

저는 여기서 결과물의 품질보다 그 지연 (delay) 자체가 실제적인 메커니즘이라고 생각합니다. 어쩌면 제가 우연히 일치하는 세 가지 이야기를 과하게 해석하고 있는 것일지도 모릅니다.

두 벽을 맞붙여 보세요. 저의 논증은 첫 번째 문제를 해결해주지 못합니다. 왜냐하면 저는 무언가를 팔고 있기 때문입니다. 두 번째 문제 또한 해결해주지 못합니다. 왜냐하면 지목할 수 있는 대상이 아무것도 없기 때문입니다. 더 나은 논증도 도움이 되지 않습니다. 저는 더 나은 논증을 펼쳐왔고, 그것들이 아무런 효과를 내지 못하는 것을 지켜봐 왔습니다.

그러니 논증을 가져오는 것을 그만두세요.

그렇다면 실제로 무엇을 말해야 하는가