패시지 랭킹(Passage ranking) 및 쿼리 팬아웃(Query fan-out): 구글과 AI 채팅이 올바른 단락을 선택하는 HTML 구조

AI Overview나 ChatGPT가 특정 페이지를 인용하지 못할 때, 기술팀은 종종 특별한 메타 태그나 별도의 설정 파일을 찾습니다. 하지만 Google의 문서에 따르면 그러한 것은 존재하지 않습니다. 결정적인 요소는 콘텐츠가 HTML 내에서 어떻게 블록 단위로 분할되었는지에 달려 있습니다. 본 글에서는 시스템 관점에서 문제를 살펴봅니다: 기계가 페이지를 어떤 단위로 분리하는지, 어떤 단위를 선택하는지, 그리고 그 단위가 사용될 수 있도록 마크업(markup)은 어떻게 구성해야 하는지에 대한 내용입니다.

Google이 언급하는 시스템들

랭킹 시스템에 관한 문서에서 Google은 콘텐츠 이해에 참여하는 여러 AI 시스템들을 언급합니다:

BERT: 단어들이 의미와 의도를 결합하여 이해하는 방식.
RankBrain: 개념과 관련된 단어를 이해하고, "페이지가 검색 문구의 모든 단어를 포함하지 않더라도" 관련 콘텐츠를 반환하는 기능.
Neural matching: 질문의 개념을 페이지의 개념과 매칭시키는 기능.
Passage ranking: 페이지의 각 단락(passage)을 분리하여 관련성을 점수화하는 기능.

앞의 세 가지 시스템은 의미론적(semantics)으로 작동하며, 이는 마크업의 통제 범위를 벗어납니다. 네 번째 시스템은 다릅니다: 그것은 페이지 부분들 사이의 경계에서 작동하며, 이 경계는 HTML이 결정합니다.

기계가 선택하는 단위는 페이지 전체가 아닌 단락이다

Passage ranking 덕분에 Google은 페이지의 개별 부분이나 단락을 식별할 수 있습니다. 이를 통해 여러 아이디어를 담고 있는 긴 글이라도, 매우 좁은 범위에 국한된 질문 하나만을 위해 특정 단락만 높은 순위로 매겨질 수 있습니다. AI 채팅 시스템은 이 과정을 더 명확하게 수행합니다: 답변을 제공하기 전에, 일반적으로 페이지를 작은 블록들로 분할하고 질문과 가장 가까운 블록만을 가져옵니다.

기술적인 관점에서 보면 다음과 같이 생각할 수 있습니다: 여러분의 페이지가 청크(chunk) 단위로 잘게 쪼개지고, 각 청크는 거의 독립적으로 평가받습니다. 헤딩(Heading)은 이러한 청크 사이에서 가장 자연스러운 경계입니다.

<article>
  <h1>콜라겐 언제 먹을까</h1>
  <h2>최적의 시기</h2>
...

각 H2와 그 아래 단락 쌍은 질문에 답변하기 위해 개별적으로 선택될 수 있는 기계적인 블록이 됩니다.

Query fan-out: 하나의 질문이 여러 페이지로 확장되는 이유

Google의 AI Overview 및 AI Mode 문건에 따르면, 시스템은 답변을 생성할 때 질문을 주제별로 여러 개의 작은 쿼리(query fan-out)로 분해하고, 적합한 페이지를 찾은 후, 지원 링크와 함께 답변을 종합합니다. 처리 흐름은 다음 다섯 단계로 설명할 수 있습니다:

질문을 받고 사용자의 의도를 이해한다.
주제별로 쿼리를 분해한다.
색인된 신뢰할 수 있는 페이지를 찾는다.
각 페이지에서 질문과 가장 관련성이 높은 단락(chunk)을 선택한다.
종합하고 출처 링크와 함께 재작성한다.

설계 결과: 각 하위 쿼리는 서로 다른, 때로는 다른 페이지에 있는 청크와 일치할 수 있습니다. 독립적으로 구성된 청크가 많은 페이지는 내용이 연속되는 단일 페이지보다 더 많은 "진입점(entry point)"을 갖게 됩니다.

독립적인 청크 설계 (Self-standing chunk design)

청크는 페이지에서 분리되면 주변의 모든 문맥을 잃게 됩니다. 따라서 다음 세 가지 규칙이 모든 메타 태그보다 중요합니다:

제목(Heading)은 사용자가 실제로 입력한 질문에 맞춰 작성해야 하며, "추가 정보"와 같은 일반적인 제목을 사용해서는 안 됩니다.
제목 아래의 첫 문장은 해당 질문에 직접적으로 답변해야 합니다.
주어를 다시 언급하지 않고 "앞서 말했듯이" 또는 "이것은"으로 단락을 시작해서는 안 됩니다.

목록, 표, 구체적인 숫자는 청크를 사용하기 쉽게 만듭니다. 저는 Google에 "seo onpage gồm những gì"라고 검색해 보았습니다. AI Overview는 한 문장의 정의로 답변하고, 명확한 제목의 5개 그룹으로 나누었으며, 각 그룹은 몇 개의 글머리 기호로 구성되어 있고, 구조가 완전히 동일한 페이지에서 링크를 인용했습니다. 개체명 인식(entity recognition)과 신뢰도 평가를 포함하여 다섯 가지 메커니즘 전체에 대한 자세한 설명은 Google và AI chat hiểu bài viết thế nào라는 글에 있습니다. 여기서는 구조와 관련된 부분만 유지했습니다.

운영 환경에서의 관찰 (A production observation)

Onic.vn에서는 각 글이 별도의 HTML 블록 안에 간결한 답변 블록으로 시작합니다. "brand context là gì"라는 검색어에 대해 Google은 미리 작성된 메타 디스크립션(meta description)을 사용하지 않고 그 전체 블록 자체를 발췌문으로 가져왔으며, 게시 후 3시간 만에 상위 2위에 올랐습니다. AI Overview 역시 이 글을 출처로 선택했으며, 선택된 단락은 여전히 글 초반의 정의 단락이었습니다.

이것은 보장된 것이 아니라 관찰일 뿐입니다. 하지만 이는 위에서 설명한 청크 모델과 일치합니다. 즉, 페이지 상단에 위치하며, 독립적으로 존재할 수 있고, 질문에 정확하게 답변하는 블록이 선택됩니다.

선택되기 위한 기술적 조건

이 부분은 구글이 특별한 것이 없다고 명확히 했기 때문에 짧습니다:

페이지가 색인(index)되어야 합니다.
해당 페이지가 Google 검색에서 스니펫(snippet)과 함께 표시될 자격이 되어야 합니다.
AI를 위한 별도의 파일이나 특별한 마크업을 만들 필요는 없습니다.

ChatGPT와 관련하여 확인해야 할 세부 사항이 있습니다. OpenAI는 검색 기능을 위해 OAI-SearchBot 크롤러를 사용합니다. 만약 웹사이트가 robots.txt에 이 크롤러를 차단하면, 해당 페이지가 ChatGPT의 출처가 있는 답변에 나타나기 어려울 수 있습니다.

# robots.txt: ChatGPT에 인용되기를 원한다면 아래와 같은 블록이 없도록 확인하세요.
User-agent: OAI-SearchBot
Disallow: /

AI로 생성된 콘텐츠에 관하여

만약 여러분의 콘텐츠 파이프라인(pipeline)에 AI 생성 단계가 있다면, 구글 가이드라인은 구글이 콘텐츠의 질을 평가하며, 생성 방식은 구분하지 않는다고 말합니다. 스팸으로 간주되는 것은 순위를 조작하기 위해 자동화된 방식으로 대량의 콘텐츠를 생성하는 것입니다. 2024년 3월부터 유용한 콘텐츠 시스템(useful content system)이 핵심 검색 순위 시스템에 통합되었습니다. 시스템적인 관점에서 볼 때, 이는 파이프라인에 전문가가 검토하고 승인하는 단계를 추가해야 함을 의미합니다.

원문 출처: https://onic.vn/kien-thuc/google-va-ai-chat-hieu-bai-viet/