내가 만든 AI 인용 도구를 낯선 페이지 4곳에 테스트해봤더니, 내 페이지에서만 통과했다.

2일 전 저는 'AI Citation Readiness Checker'를 공개했습니다. 생성형 검색 엔진이 해당 콘텐츠를 인용하기 전에 한 페이지가 충족해야 할 여덟 가지 조건을 명시했으며, 각 조건은 이름이 언급된 공공 연구에 근거합니다. 이 도구는 브라우저에서 실행되며, 파일 업로드나 회원 가입 절차 없이 사용 가능합니다.

그 후 저는 이 도구에 대한 두 번째 게시글을 작성하다가 제가 미처 생각지 못한 문제점을 깨달았습니다.

제가 테스트할 때마다, 그 테스트는 오직 제 자신의 페이지를 대상으로 진행되었다는 것입니다.

저자 본인의 페이지에서만 검증된 도구로는 '내 기준이 맞다'와 '내가 내 페이지에 맞춰서 이 기준을 만들었다' 사이의 차이를 구분할 수 없습니다. 둘은 내부적으로 볼 때 완전히 동일해 보입니다. 그래서 저는 이 여덟 가지 점검 항목들을 Node로 포팅하고, 임계값(thresholds)은 변경하지 않은 채, 저와는 아무 관련이 없는 네 개의 페이지를 대상으로 실행했습니다.

측정 내용

동일한 여덟 가지 점검 항목과 동일한 임계값을 사용했으며, 같은 날짜(2026-10-11)에 원본 서버가 반환하는 HTML을 기준으로 테스트했습니다. AI 검색 엔진이 보는 것처럼 JavaScript는 실행되지 않았습니다.

이것이 실제로 알려준 것

동일한 기준을 적용했을 때, 산문 에세이는 데이터 테이블에 패배한다. siwan.io의 매출 보고서는 좋은 게시물입니다. 실제 숫자가 포함되어 있고, 제가 정말 궁금해하는 주제이며, 다섯 개 중 가장 낮은 점수를 받았습니다. 이 페이지의 문제는 구조적인 것이었습니다: 31개의 단락과 0개의 리스트 항목. 그 페이지에서는 블록으로 인용할 수 있는 내용이 전혀 없었습니다. 두 개의 8/8을 받은 페이지는 모두 밀도가 높은 데이터 페이지였으며, 각각 93%와 40%의 리스트 형태를 보였습니다.

실제 버전의 경우: 산문(prose)을 표(table)로 재구성하는 것은 미적인 변화가 아닙니다. 이는 검색기(retriever)가 문장 그대로 인용할 수 있는 내용을 바꿉니다.

저 자신의 페이지는 실패했고, 이는 제가 절대로 수동으로 실행하지 않았을 검사였습니다. 실패 원인은 '이것이 주제 클러스터(topic cluster)의 일부인가'였는데, 제 검사 페이지에는 내부 링크가 2개만 있었습니다. 기준치(threshold)는 3개입니다. 이것은 완전히 사소한 누락입니다. 제가 직접 봤을 때는 절대 알아차리지 못했을 것입니다. 왜냐하면 링크가 두 개 달린 페이지는 작성자에게는 지극히 정상적으로 보이기 때문입니다.

해결책은 모든 도구 페이지에 통일된 내비게이션 바(nav bar)를 적용하는 것이었습니다. 이로써 제 7개 페이지 모두의 점수가 6~7/8점에서 8/8점으로 올라갔습니다.

제가 고칠 수 없었던 검사가 가장 중요했습니다. 제 geoprobe 페이지는 본문 텍스트가 1,975자인데 반해 외부 페이지들은 9,000~19,000자입니다. 저는 비율을 높이기 위해 표와 목록(list)을 추가할 수도 있었습니다. 하지만 그렇게 하지 않았습니다. 왜냐하면 그것은 제가 직접 만든 수치를 조작하는 것이기 때문입니다. 이 도구는 준비 상태(readiness)를 측정합니다. 페이지가 인용할 가치가 있다는 것은 알지 못합니다.

이것이 알려주지 않는 것들

저는 어떤 AI 엔진에 대한 인용 패널 데이터도 가지고 있지 않습니다. 따라서 저의 페이지를 포함하여 이 다섯 개의 페이지 중 어느 것도 실제로 무언가에 의해 인용되고 있는지 증명할 수 없습니다. 준비 상태는 결과(outcome)가 아니라 전제 조건(precondition)입니다.

여기서 모든 검사는 가치를 창출하지 않으면서 조작될 수 있습니다. 빈 표만으로도 목록 형태 점수 93%를 달성할 수 있습니다. 이 루브릭은 페이지가 구조적으로 인용 가능한지 여부만을 알려줍니다. 그것이 인용할 가치가 있는지는 별개의 질문이며, 이 도구는 답하지 못하고 답변할 수도 없습니다.

만약 여기서 한 가지를 얻어 간다면: 자체 제작한 도구는 반드시 자신이 만들지 않은 무언가에 대해 최소 한 번 실행해 봐야 합니다. 제 것은 두 개의 게시물과 하루의 낭비된 시간을 들여서야 이런 검사가 한 번도 이루어지지 않았다는 것을 알게 되었습니다.

모든 검사 메시지를 포함한 원시 측정값은 JSON 형식으로 여기에 있습니다: https://first-dollar-reality.app.workbuddy.host/bench/benchmark.json

도구 자체를 여러분의 페이지에서 실행하고 싶다면: [https://first-dollar-reality.app.workbuddy.host/geoprobe/index.html]

위의 벤치마크 페이지에 대한 한 가지 주의사항이 있습니다. 이 페이지는 실시간으로 작동하지만, 여기에 설명된 7페이지 네비게이션 수정 사항은 제가 재배포를 확인하기 전까지는 로컬(local) 상태입니다. curl이 200을 반환한다고 해서 URL이 고쳐졌다고 보고하지는 않을 것입니다.