AI가 당신의 사이트를 추천하는지 확인하는 방법 — 내가 고객을 위해 수행하는 정직한 AEO 감사

저자: Alex Isa (Webappski). 이 글은 Webappski 블로그에 게시된 긴 글의 개발 튜토리얼 버전입니다. 터미널 중심이며, '왜(why)'에 대한 설명은 줄였습니다.

만약 구매자가 ChatGPT에게 "2026년 최고의 CDN 제공업체"라고 물었을 때 당신의 제품이 답변에 포함되어 있지 않다면, 당신은 잠재 고객(lead)을 확인하기도 전에 판매 기회를 놓치게 됩니다. 그런 일이 일어나고 있는지 알 수 있는 유일하고 정직한 방법은, 구매자가 던지는 질문을 엔진에 직접 던지고 가공되지 않은 답변(raw answers)을 읽는 것입니다. 단일 대시보드 점수를 신뢰해서는 안 됩니다.

다음은 우리 Webappski가 오픈 소스 도구인 aeo-platform(MIT 라이선스, 런타임 의존성 없음)을 사용하여 고객을 위해 실행하는 루프입니다.

1. 설치 및 고객 도메인 지정

npm install -g aeo-platform
cd client-audit && aeo-tracker init

init 명령은 .aeo-tracker.json 파일을 작성합니다. 중요한 세 가지 요소는 다음과 같습니다:

{
  "brand": "Northwind CDN",         // 예시용 가상 브랜드
  "domain": "northwind.example",    // 등록 가능한 도메인 — 서브도메인은 포함되지만, 스푸핑된 호스트는 포함되지 않음
...

질문 자체가 곧 감사(audit)입니다. 허영심 가득한 문구들을 모아놓으면 듣기 좋지만 쓸모없는 수치가 나오며, 구매자의 실제 의사결정 질문들을 모아놓으면 매출을 예측할 수 있는 수치가 나옵니다. 다음 달 실행 결과와 비교할 수 있도록 이를 고정해 두십시오.

2. 실행 — 단 한 번의 노이즈 섞인 시도가 아닌 샘플링 방식

AI의 답변은 비결정론적(non-deterministic)입니다. 동일한 질문을 두 번 해도 다른 목록을 받을 수 있습니다. 단 한 번의 실행은 그러한 노이즈를 가짜로 정밀한 수치로 변질시킵니다. 따라서 각 셀(cell)을 여러 번 실행하고, 단 한 번의 결과가 진실인 척하는 대신 점수에 신뢰 구간(confidence interval)을 부여하십시오:

# 일반적인 단일 실행
aeo-tracker run

...

--samples=5 옵션을 사용하면 모든 (쿼리 × 엔진) 셀에 대해 5번씩 질문을 던집니다. 그러면 주요 노출률(presence rate)이 Wilson 구간(Wilson interval)으로 보고되며, 작은 샘플 크기는 확실성으로 판매되는 대신 '작음'으로 표시됩니다. 비용은 배수에 따라 확장되며, CLI는 비용을 지출하기 전에 새로운 호출 횟수를 알려줍니다.

3. 보고서 읽기 — 모든 숫자는 클릭하여 확인 가능 (click-to-reveal)

aeo-tracker report

report 명령은 단일 독립형 HTML 파일(및 마크다운 쌍)을 aeo-reports/<date>/에 작성하고 브라우저에서 HTML을 엽니다. 보고서의 핵심은 헤드라인 숫자가 아닙니다. 매트릭스의 모든 셀은 **클릭하여 확인(click-to-reveal)**할 수 있다는 점입니다. 셀을 열면 해당 질문에 대한 엔진의 있는 그대로의 답변(verbatim answer)을 읽을 수 있습니다. 모든 숫자에는 영수증(receipt)이 있습니다. 점수 뒤에서 각 엔진이 자신의 언어로 어떻게 답변했는지 정확히 확인할 수 있습니다.

다음은 보고서의 형태를 보여주는 예시 단편입니다 (CDN 구매 바구니).

예시 — 가상의 브랜드(Northwind CDN, northwind.example)에 대한 합성 데이터(synthetic data)이며, 실제 실행 결과가 아닙니다. 보고서의 형태를 보여주기 위한 용도로만 제공됩니다.

보고서 요소	보고서 표시 내용
헤드라인 사실 (Headline fact)	18개의 답변 중 5개에서 언급됨 (28% 점유율) — 예시임
...

실제 실행 시, 28%라는 숫자는 맹목적으로 믿어야 하는 숫자가 아닙니다. 클릭하여 열면 그 아래에 브랜드를 언급한 정확한 Gemini 문장과 브랜드를 누락한 정확한 ChatGPT 답변이 놓여 있습니다. (위의 수치는 예시입니다. 귀하의 도메인에서는 엔진의 실제 답변이 영수증이 됩니다.)

이것이 폐쇄형 점수(closed score)보다 나은 이유

• 측정하지 않는 것을 명시합니다. 소비자용 앱이 아닌, 귀하의 키(keys)를 통한 API 표면(API surface)을 측정하며, AI Overviews / Copilot는 포함되지 않습니다.
• 점수를 재도출할 수 있습니다 (re-derivable). 저장된 답변에 대해 귀하의 키를 사용하여 공개된 공식(open formula)을 적용할 수 있습니다.
• 경쟁사는 이중 모델로 검증됩니다 (dual-model verified) — 두 모델 모두가 이름을 언급한 브랜드만 표시되므로, 목록이 경쟁사를 환각(hallucinate)하여 만들어내지 않습니다.
• 0%는 가설입니다. 각 셀을 N번 샘플링하고 Wilson 신뢰 구간(Wilson confidence interval)을 보고합니다. 샘플 크기가 작은 경우 '작음'으로 표시됩니다.

정직한 기대치 하나를 말씀드리자면: 감사는 읽기(readout)이지, 레버(lever, 조작 도구)가 아닙니다. 엔진은 자체 일정에 따라 다시 크롤링하므로, 오늘 배포한 변경 사항은 보통 2~4주 후에 나타납니다.

전체 버전, 구매자 워크스루(buyer walkthrough), 그리고 해당 수치가 정직한 이유에 대한 엔지니어링(engineering) 상세 내용은 **Webappski 블로그**에서 확인하실 수 있습니다. 만약 귀하의 사이트에 대해 이 프로세스를 실행하고 싶다면, Webappski는 무료 AEO 감사 (AEO audit)를 제공합니다.