ChatGPT, Gemini 및 AI Mode가 소프트웨어 카테고리 절반에서 '최적' 도구에 대해 의견 불일치

저희는 세 가지 AI 답변 엔진(ChatGPT, Gemini, Google의 AI Mode)이 구매자들에게 소프트웨어 추천을 요청받았을 때 어떤 답변을 하는지 추적합니다. 매주 10개 소프트웨어 카테고리에 걸쳐 동일한 182개의 구매 의도 프롬프트를 실행하고 그 결과를 공개 리더보드에 게시합니다.

이번 주 테스트 결과는 저를 놀라게 했습니다: 10개 카테고리 중 5개에서 세 엔진이 다른 브랜드를 선두로 지목했습니다. 만약 하나의 엔진만 본다면, 이는 세 갈래의 의견 분열 속에서 단지 한 표만을 보는 것과 같습니다.

엔진 간 불일치 영역

나머지 다섯 개 카테고리에서는 의견을 같이합니다. Semrush가 AI 가시성 플랫폼과 SEO 플랫폼을 장악하고, Surfer가 콘텐츠 최적화를 맡으며, SerpApi가 SERP API를 장악하고, Google Analytics가 웹 분석을 장악합니다.

하지만 '동의한다'는 것은 여기서도 작업이 필요합니다. 리더가 일치하는 경우에도 나머지 순위 목록은 다르게 나타납니다. Gemini는 더 많은 브랜드에 걸쳐 언급을 분산시키는 반면, AI Mode는 적은 수의 브랜드에 집중하는 경향을 보입니다.

이것이 중요한 이유

AI 엔진이 인용하는 모든 '최고의 X 도구' 목록은 Google을 위해 작성되었습니다. 이 엔진들은 중첩되지만 서로 다른 코퍼스(corpora)를 읽고, 이를 다르게 가중치 부여하며, 그 결과로 각기 다른 승자를 내놓습니다. 따라서 귀하의 브랜드에게 AI 가시성은 단 하나의 숫자가 아닙니다. 이는 엔진별, 카테고리별, 국가별로 측정되어야 합니다. 전체 데이터, 카테고리별 표 및 방법론은 여기에서 확인하실 수 있으며, 방법론 페이지에서도 확인할 수 있습니다.

직접 재현해 보기

파이프라인은 의도적으로 지루합니다: 프롬프트 세트 → 엔진별 프롬프트당 하나의 API 호출 → 언급 횟수 계산. 저희는 AnswerLine에서 이를 실행합니다(제가 작업하고 있습니다). 각 엔진마다 하나의 엔드포인트를 사용하며, 답변은 인용된 출처 URL을 포함하는 JSON 형태로 돌아오는데, 이것이 실제 인용과 단순 언급을 구분하는 방법이기도 합니다. 500개의 무료 크레딧으로 작은 카테고리 스윕(sweep)을 진행할 수 있습니다.

다음 업데이트는 월요일입니다. 만약 의견 불일치 숫자가 변동하면 여기에 게시하겠습니다.