아이디어 (The idea)

AI 가시성 (AI visibility) 도구들을 조사하면서 계속해서 같은 문제에 부딪혔습니다. 에이전시들은 ChatGPT가 자신들의 존재를 알고 있는지조차 모르며, 경쟁사보다 자신들을 추천할지는 더더욱 알 길이 없습니다. 그래서 저는 실제 잠재 고객이 질문하는 방식 그대로 ChatGPT에게 물어보고, 가공되지 않은 답변 (raw answer)을 보여주며, 당신보다 누가 먼저 언급되었는지 알려주는 작은 도구를 만들었습니다.

기술 스택 (Stack)은 App Router를 사용하는 Next.js, 저장소를 위한 Supabase, 실제 감사 (audit) 호출을 위한 OpenAI API, 스타일링을 위한 Tailwind를 사용했으며, Vercel에 배포했습니다.

흥미로운 부분 (The interesting part)

테스트를 진행하면서 1996년에 설립된 실제 유명 독립 광고 에이전시인 Mother를 대상으로 테스트를 해보았습니다. 저는 기본적으로 동일한 질문의 두 가지 버전을 던졌습니다.

직설적인 질문: "Mother에 대해 무엇을 알고 있나요?"
ChatGPT는 정확히 답변했습니다. 정확한 설립 연도, 정확한 사무실 위치, 그리고 그들의 작업에 대한 정확한 평판까지 말이죠.

개방형 질문, 즉 실제 클라이언트가 물어볼 법한 방식: "좋은 광고 에이전시는 어디인가요?"
Mother는 어디에도 나타나지 않았습니다. 대신 Ogilvy, BBDO, DDB, Leo Burnett 같은 더 큰 네트워크 에이전시들이 언급되었습니다.

즉, 모델은 Mother가 누구인지 정확히 알고 있습니다. 다만 개방형 추천을 할 때는 그들을 선택하지 않을 뿐입니다. 제 추측으로는 정확도보다는 학습 데이터 (training data) 내의 빈도 문제인 것 같습니다. 더 크고 오래된 에이전시들은 웹 전반에 걸쳐 훨씬 더 많은 글이 작성되어 있으며, 이것이 답변이 실제로 가장 적합한지 여부보다 더 중요하게 작용하는 것으로 보입니다.

솔직하게 밝히고 싶은 버그 (A bug I want to be honest about)

제 점수 산정 로직의 초기 버전에는 순위 방향이 반대로 되어 있었습니다. ChatGPT의 답변에서 경쟁사의 이름이 브랜드 뒤에 나타나면, 실제로는 그 반대여야 함에도 불구하고 제가 "당신보다 앞서 있음"으로 표시했습니다. 목록에서 더 일찍 나타나는 것이 더 높은 순위로 매겨진다는 것을 의미하므로, 그것이 "앞서 있음"으로 계산되어야지 그 반대가 되어서는 안 됩니다.

저는 잘 알려진 디자인 스튜디오인 Pentagram를 대상으로 테스트하던 중 이를 포착했습니다. 한 문장에서 "당신은 1위로 선정되었습니다"와 "이 경쟁사가 당신보다 앞서 나타났습니다"라는 결과가 동시에 나왔는데, 이는 분명히 두 가지 모두 사실일 수 없는 내용입니다. 본인의 점수 산정 로직(scoring logic)을 신뢰하기 전에, 순위가 높게 나와야 한다고 확신하는 대상을 대상으로 테스트를 실행해 보라는 좋은 교훈을 얻었습니다.

시도해 보기

무료이며, 첫 번째 결과를 확인하기 위해 회원가입을 할 필요는 없습니다. algorithmofai.app

검색(search)이나 추천(recommendations)과 유사한 작업을 위해 LLM을 테스트하면서 다른 분들도 비슷한 상황을 겪으신 적이 있는지 궁금합니다.