AI에 인용되기 쉬운 정도와 실제로 인용된 것을 분리한 이유: AIO 측정 축 4가지

AIO나 GEO 개선 과정에서 상당히 위험한 오해석이 있습니다.

冒頭のcitability scoreが上がった
↓
AIに引用されやすくなった
...

중간에 관찰되지 않은 단계가 여러 개 존재합니다.

콘텐츠의 구조를 개선한 것과 실제로 AI가 인용한 것은 별개입니다.

AI가 한 번 인용한 것과 안정적으로 인용되는 것은 별개입니다.

인용된 것과 검색 유입이나 전환율(conversion)이 증가한 것도 별개입니다.

netsujo-aio-seo에서 Search / AI Visibility의 계약(contract)을 만들 때, 이 차이를 같은 점수로 뭉뚱그리지 않도록 했습니다.

설계상으로는 최소한 다음 4가지 축을 분리합니다.

content readiness
AI citation observation
search visibility
...

이 글에서는 왜 분리했는지, 어디부터를 성과라고 할 수 없는지 설명하겠습니다.

readiness score는 성과 지표가 아니다

예를 들어 페이지의 처음 200 토큰을 보고,

• 정의가 빨리 나오는지
• 구체적인 숫자가 있는지
• 답변 우선(answer-first)인지
• 개체명(entity)이 명확한지
• 인용하기 쉬운 조각(fragment)이 있는지

를 점수화할 수는 있습니다.

netsujo-aio-seo의 Passage Citability Checker도 이러한 로컬 루브릭(local rubric)을 가지고 있습니다.

하지만 계약에는 처음부터 경계를 그어둡니다.

이것은 content readiness이지, AI citation status가 아닙니다.

점수가 62에서 86으로 올랐다고 해도,

citation probability가 24포인트 올랐다고는 할 수 없습니다.

제공자(provider)의 랭킹 모델을 재현하고 있는 것이 아니기 때문입니다.

readiness score
= editorial / structural heuristic
citation result
...

이 두 가지를 분리하지 않으면, 스스로 만든 루브릭 개선을 스스로 성과로 채점하는 순환 평가가 됩니다.

AIO의 측면에서 점수를 만드는 것 자체는 유용합니다.

문제는 그것을 결과(outcome)로 격상시키는 것입니다.

실제 인용은 engine observation으로 가져간다

실제 인용은 별도의 아티팩트(artifact)로 관측합니다.

최소한 다음 조건을 고정합니다.

• target
• wording variant
• engine
• model
• locale
• observation time

개념적으로는 이렇습니다.

{
"targetId": "A-01",
"variantId": "A-01-v1",
...
}

중요한 것은,

ChatGPT에 인용되었다
라는 하나의 글로벌 상태(global state)로 만들지 않는 것입니다.

같은 쿼리라도 engine, model, locale, variant, 시간이 바뀌면 결과는 달라질 수 있습니다.

따라서, citation은 condition-scoped observation입니다.

target A
+ engine X
+ model Y
...

다른 조건으로 자동 일반화되지 않습니다.

한 번 인용되었다고 '안정적(stable)'이 아니다

citation tracker에서 더 나누는 것이 volatile과 stable입니다.

한 번 성공했을 뿐이라면,

AI_CITED_VOLATILE

입니다.

stable로 취급하려면, 같은 조건에서 최소 3회의 성공적인 반복(successful repetition)을 요구합니다.

same target
same engine/model
same locale
...

이것은 '3회면 통계적으로 충분하다'는 보편 법칙이 아닙니다.

단발 관측을 stable로 오인하지 않기 위한 로컬한 운영 계약(operational contract)입니다.

반대로,

cited
not cited
cited

와 같은 혼합된 결과라면 volatile 상태를 유지합니다.

여기서 나누지 않으면, 우연히 한 번 나온 답변을 'AIO 성공 사례'로 만들기 쉽습니다.

wording variant를 모수(母数)로 하면 citation share를 부풀릴 수 있다

query 추적(query tracking)에서는 또 다른 사소하지만 위험한 문제가 있습니다.

같은 의미의 query를 다음과 같이 늘릴 수 있습니다.

교토 Web3 개발 회사
교토에서 Web3 개발 회사를 찾고 싶다
교토 Web3 시스템 개발
...

그러나 이 4가지를 독립적인 타겟(target)으로 citation share의 분모에 넣으면, query set을 만드는 방식에 따라 숫자가 달라집니다.

그래서 다음과 같이 구분합니다.

canonical target
├─ variant v1
├─ variant v2
...

citation share의 분모는 canonical target count입니다.
wording variant count가 아닙니다.

variant는 조건 차이를 보기 위해 존재합니다.
KPI를 늘리기 위해서는 사용하지 않습니다.

이는 AIO에만 국한되지 않고, 측정 설계(measurement design)에서 상당히 중요합니다.

브랜드 검색어만 측정해서는 Share of Voice라고 할 수 없다

자사 브랜드명(brand name)을 포함하는 query는 비브랜드(non-branded) query보다 인용되기 쉬울 때가 있습니다.

따라서,

Netsujo SIGNAL이란
Netsujo Web3
Netsujo AI agent

만 측정해서 citation rate가 높더라도, market-level visibility라고 할 수 없습니다.

netsujo-aio-seo에서는 branded-only sample을 measurement defect로 취급합니다.
overall citation-share를 얻고 싶다면, 적어도 branded / non-branded를 구분해야 합니다.

branded visibility
≠
category visibility

'자사 이름이 물어났을 때 자사가 노출되는 것'과,
'카테고리 질문에서 후보로 노출되는 것'은
비즈니스적으로도 다른 상태입니다.

llms.txt가 존재한다는 것이 citation 증거는 아니다

AIO 주변에서는 delivery artifact를 outcome(결과)와 혼동하기 쉽습니다.
대표적인 예가 llms.txt입니다.

llms.txt를 배치했다.
schema를 넣었다.
structured data를 정비했다.
접근 가능한 본문으로 만들었다.

이것들은 모두 delivery fact(전달 사실)로 확인할 수 있습니다.
하지만,

llms.txt exists
↓
AI가 해당 페이지를 인용함

이라고는 할 수 없습니다.
contract에서는 llms.txt의 존재 자체가 citation evidence가 아니라고 명시하고 있습니다.
같은 말은 JSON-LD나 metadata에도 적용됩니다.

implementation evidence
≠
external observation

기술적 조치(technical measure)를 '완료'한 것과, 그 조치가 외부 시스템에서 결과를 냈다는 것을 구분해야 합니다.

Search / AI / readiness / CV를 하나의 상태로 묶지 마라

Goal-backcast Visibility Map에서는 Search와 AI의 상태를 별도의 축(axis)으로 두고 있습니다.
Search 측에는,

SEARCH_VISIBLE
SEARCH_EMERGING
SEARCH_CTR_GAP
...

같은 상태가 있습니다.
AI 측은,

AI_CITED_STABLE
AI_CITED_VOLATILE
AI_MENTION_NO_CITATION
...

입니다.
여기에 content readiness와 conversion까지 같은 상태로 밀어 넣지 마십시오.

예를 들어,

content readiness = strong
AI citation = unmeasured
search = visible
...

이러한 상태는 정상적으로 발생할 수 있습니다.

반대도 마찬가지입니다.

content readiness = low
AI citation = volatile
search = emerging
...

이러한 상태를,

visibility score 74

같은 하나의 숫자로 압축하면, 무엇을 개선해야 할지 알 수 없게 됩니다.

null과 0도 구분하라

measurement artifact에서는 null과 0을 구분합니다.

null
= 측정하지 않음 / 이용 불가
0
...

이것은 작은 차이처럼 보이지만, 대시보드에서는 치명적입니다.

citationCount = 0 이,

조사했지만 인용되지 않았는지,

provider failure로 측정되지 않은 것인지
알 수 없다면 개선 판단을 오가립니다.

같은 것은 GSC impressions나 conversion에도 적용됩니다.

증거의 부재(absence of evidence)를 0으로 변환하지 마십시오.

Agent 운영에서도 analytics에서도 같은 원칙입니다.

AI referral과 citation observation도 분리

GA4에서 chatgpt.com이나 perplexity.ai로부터의 session을 발견할 수 있습니다.

이것 역시 citation tracker와 동일한 수치로 만들지 않습니다.

AI referral은,

user clicked
↓
site session observed

라는 하류 관측입니다.

citation observation은,

engine response observed
↓
down own domain cited / mentioned

입니다.

인용되어도 클릭되지 않을 수 있습니다.

클릭되더라도, 어느 응답 패턴에서 왔는지 완전히 복원할 수 없는 경우가 있습니다.

따라서,

citation observation
AI referral
conversion

은 별도로 관리합니다.

citation share로부터 traffic을 예측하고 싶다면, 별도의 source-backed model이 필요합니다.
'citation이 10% 증가했으니 traffic도 10% 증가한다'고 단정할 수 없습니다.

사실 충돌(fact conflict)이 있으면 citation 전략 진행 금지

AIO에서는 '인용되기 쉬운 글을 만드는 것' 이전에, content의 사실 정보가 갖춰져 있어야 합니다.

예를 들어 같은 current value가,

• page copy
• JSON-LD
• metadata
• llms files
• partner site
• dynamic UI

에서 서로 다른 상태인 경우입니다.

이 경우, goal-backcast contract에서는,

AI_FACT_CONFLICT

로 먼저 중단합니다.

이유는 간단합니다.

인용되기 쉽게 만들기 전에, 무엇을 올바른 사실로 인용해 주길 바라는지가 결정되지 않았기 때문입니다.

readiness optimization을 먼저 진행하면, 모순된 정보를 더 쉽게 추출할 수 있게 만들 위험이 있습니다.

Goal에서 역산하면 측정해야 할 것이 달라진다

visibility map은 keyword list부터 시작하지 않습니다.

순서는,

Goal
↓
Actor
...

입니다.

이 순서로 하면, 'AI에 인용되는 것'이 최종 Goal이 아닌 경우도 보입니다.

예를 들어 BtoB 서비스라면,

Goal: qualified inquiry
Decision: 이 회사에 상담할지
Question: 이 과제를 맡길 수 있는 회사는 어디인지
...

속에서 AI citation은 하나의 visibility observation일 뿐입니다.

citation 자체가 business outcome이 아닙니다.

따라서, AIO의 measurement model도 Goal과 CV(conversion)를 분리하지 않으면서도, 같은 상태로 뭉개지 않습니다.

이 이중 구조가 필요합니다.

pre/post 비교도 동일 조건으로 측정

content를 변경하여 효과를 볼 때도, before / after로 조건을 맞춥니다.

before
- same canonical target
- same variant
...

조건이 다른데,

글을 수정한 후에 citation이 늘었다고는 말할 수 없습니다.

더 나아가, after에서 citation이 늘어도 인과관계가 자동으로 확정되지는 않습니다.

model update, engine 측의 retrieval 변경, 경쟁 페이지의 변화 등 여러 가능성이 있습니다.

여기서도 할 수 있는 것을 좁힙니다.

same-condition observation changed

까지는 사실입니다.

our rewrite caused the change

은 추가적인 Evidence가 필요합니다.

구현에서는 strict contract로 변경했습니다

이러한 분리를 단순히 문서 규칙에만 국한하지 않기 위해, netsujo-aio-seo PR #13에서 버전 관리되는 계약(versioned contract)으로 내렸습니다.

추가된 것은 다음 4가지입니다:

• visibility-targets/v1
• ai-citation-snapshot/v1
• community-stats-snapshot/v1
• visibility-dashboard-import/v1

PR 검증에서는 다음을 확인하고 있습니다:

• contract tests: 9 passed - policy regression evals: E01–E18 passed - schema validation: PASS

artifact는 unsupported version, duplicate ID, orphan Goal reference, count imbalance, forbidden answer/cookie/key field 등은 거부합니다.

measurement semantics는 README의 주의사항이 아니라, schema/test 측에서도 지키도록 했습니다.

작게 도입한다면 4개의 테이블로 충분합니다

자신의 AIO 측정에 넣으려면 처음부터 큰 대시보드는 필요하지 않습니다. 최소한 다음 4가지를 분리합니다.

1. readiness

page
observedAt
rubricVersion
...

이것은 내부 휴리스틱(internal heuristic)입니다.

2. citation observation

targetId
variantId
engine
...

이것은 외부 관측(external observation)입니다.

3. search observation

query
page
period
...

이것은 검색 관측(search observation)입니다.

4. conversion observation

destination
measurementKey
period
...

이것은 비즈니스 결과 측면의 관측(business outcome side's observation)입니다.

4가지를 join 할 수는 있습니다.

같은 컬럼에 넣지 마세요.

요약

AIO 측정에서 가장 피해야 할 것은, 시책과 성과를 같은 점수(score)에 넣는 것입니다.

• passage score가 올랐다
• llms.txt를 배치했다
• schema를 추가했다
• AI가 1회 인용했다
• branded query에서 자주 나왔다

이들은 각각 의미가 있습니다.

하지만, 같은 의미는 아닙니다.

netsujo-aio-seo에서는,

• content readiness
• condition-scoped AI citation
• search visibility
• conversion measurement

을 분리하고, 1회 인용은 volatile로, 동일 조건 반복(same-condition repetition)은 stable 판정으로 사용하며, canonical target을 분모로 하고, branded-only sample을 전체 가시성(overall visibility)에 사용하지 않는 설계로 했습니다.

AIO에서 '개선했다'고 말하기 전에,

무엇을 개선했는지. 시책인지, 관측인지, 사업 성과인지.

거기를 분리하는 것만으로도 상당한 오측정(誤測定)을 막을 수 있습니다.

구현과 계약(contract):

• netsujo-aio-seo PR #13: https://github.com/suirindo/netsujo-aio-seo/pull/13
• AI Citation Tracker: https://github.com/suirindo/netsujo-aio-seo/blob/main/plugins/netsujo-aio/skills/ai-citation-tracker/SKILL.md
• Passage Citability Checker: https://github.com/suirindo/netsujo-aio-seo/blob/main/plugins/netsujo-aio/skills/passage-citability-checker/SKILL.md
• Goal-backcast Visibility Map: https://github.com/suirindo/netsujo-aio-seo/blob/main/plugins/netsujo-aio/skills/goal-backcast-visibility-map/SKILL.md

논의 사항 (Discussion)