AI 검색의 신뢰 문제

AI 검색의 답변은 완성된 것처럼 보이기 때문에 신뢰할 수 있는 것처럼 느껴집니다.

답변은 유창합니다. 구조는 깔끔합니다. 어조는 자신감이 넘칩니다. 때로는 인용(citations)이 포함되기도 하고, 때로는 출처 카드(source cards)가 나타나기도 합니다. 때로는 답변이 사용자가 열어보았을 그 어떤 단일 페이지보다 더 체계적으로 들리기도 합니다.

그것이 바로 신뢰 문제(trust problem)가 심각한 이유입니다.

전통적인 검색은 사용자에게 신뢰 결정을 내리도록 강요했습니다. 사용자들은 결과를 훑어보고, 스니펫(snippets)을 비교하고, 페이지를 열고, 모순점을 발견하며, 어떤 출처에 주의를 기울일지 결정해야 했습니다.

AI 검색은 이러한 단계들을 하나의 답변으로 압축합니다.

사용자에게 여전히 링크가 보일 수도 있습니다.

하지만 사용자는 그것을 클릭하지 않을 수도 있습니다.

지름길: "이미 이 작업이 완료되었다"

사람들은 정보가 정확하기 때문에 신뢰하는 것만은 아닙니다.

그들은 정보가 사용 가능하다고 느껴지기 때문에 신뢰합니다.

AI 답변은 사용 가능하다고 느껴지도록 설계되었습니다. AI는 마찰(friction)을 제거합니다. 지저분한 검색 결과들을 깔끔한 응답으로 변환합니다. 또한 연구 요약(research summary)과 유사한 형식으로 글머리 기호(bullets), 정의(definitions), 주의 사항(caveats), 그리고 인용(citations)을 포함하는 경우가 많습니다.

이것이 신뢰의 지름길(trust shortcut)을 만듭니다.

다음과 같이 질문하는 대신:

어떤 출처를 열어봐야 하지?

사용자는 다음과 같이 생각할 수 있습니다:

이 답변이 이미 작업을 다 해놓았네.

위험 요소는 모든 AI 답변이 틀렸다는 것이 아닙니다.

위험 요소는 사용자가 그 답변이 신뢰할 만한지 확인하기도 전에, 답변이 신뢰할 수 있는 것처럼 느껴질 수 있다는 점입니다.

신뢰와 검증은 다릅니다

검색 결과 내 AI 요약(AI summaries in search results)에 대한 Pew Research Center의 조사에 따르면, 미국 성인의 65%가 검색 결과에서 최소한 가끔은 AI 요약을 접한다고 밝혔습니다. AI 요약을 본 미국인 중 53%는 정보에 대해 최소한 어느 정도의 신뢰를 가지고 있다고 답했지만, 매우 신뢰한다고 답한 비율은 6%에 불과했습니다.

이것은 맹목적인 신뢰가 아닙니다.

하지만 영향력을 미치기에는 충분한 신뢰입니다.

Pew의 별도 클릭 행동 (click-behavior) 연구에 따르면, AI 요약 (AI summary)이 나타났을 때 사용자가 전통적인 검색 결과 (traditional search result)를 클릭한 비율은 방문의 8%였던 반면, AI 요약이 나타나지 않았을 때는 15%였습니다. Pew Research Center에 따르면, AI 요약이 포함된 페이지 방문 시 요약 내부의 링크가 클릭된 비율은 단 1%에 불과했습니다.

이것이 바로 신뢰의 격차 (trust gap)입니다:

사용자는 계속 진행할 만큼 답변을 신뢰할 수는 있지만, 출처를 확인할 만큼 신뢰하지는 않을 수 있습니다.

인용 (Citations)은 신뢰의 상징이 될 수 있습니다

인용은 사용자가 답변을 검증하는 데 도움을 주도록 설계되었습니다.

하지만 실제로 인용은 사용자가 링크를 클릭하지 않더라도 답변이 권위 있게 느껴지도록 만들 수 있습니다.

인용은 해당 주장을 실제로 뒷받침하는 출처와 연결될 때만 도움이 됩니다.

AI 검색에서는 다음과 같은 여러 문제가 발생할 수 있습니다:

인용된 페이지가 특정 주장을 뒷받침하지 않을 수 있습니다.
답변이 여러 출처의 주장을 혼합하면서 단 하나의 출처만 인용할 수 있습니다.
시스템이 원본 대신 2차 출처 (secondary source)를 인용할 수 있습니다.
출처가 오래되었을 수 있습니다.
링크가 깨졌거나 허위로 만들어졌을 수 있습니다.
인용이 증거를 과장하는 문장에 붙어 있을 수 있습니다.

사용자는 다음과 같이 인식합니다:

출처가 있네.

더 나은 질문은 다음과 같습니다:

그 출처들이 답변을 증명하는가?

Columbia Journalism Review의 Tow Center는 뉴스 관련 인용 작업에서 실시간 검색 기능을 갖춘 8개의 생성형 검색 도구 (generative search tools)를 테스트했습니다. Columbia Journalism Review에 따르면, 이 도구들은 집합적으로 쿼리의 60% 이상에 대해 잘못된 답변을 제공했습니다.

이는 인용이 필요하기는 하지만, 그것만으로는 충분하지 않다는 것을 의미합니다.

세 가지 신뢰의 착각

신뢰 문제는 적어도 세 가지 층위로 나뉩니다.

1. 유창성의 착각 (The fluency illusion)

유창한 글쓰기는 유능한 추론처럼 느껴집니다.

깔끔한 답변은 빈약한 근거를 더 강력해 보이게 만들 수 있습니다. AI 시스템은 근본적인 답변이 빈약하거나 틀렸을 때조차 전문가 수준의 표면적인 품질을 모방할 수 있습니다.

2. 인용의 착각 (The citation illusion)

인용은 검증처럼 느껴집니다.

하지만 사용자가 출처를 클릭하지 않는다면, 인용은 증거의 흔적(evidence trail)이라기보다는 권위의 신호(authority signal)로서 주로 기능하게 됩니다.

3. 합의의 착각 (The consensus illusion)

AI의 답변은 종종 웹상의 균형 잡힌 중간 지점을 대변하는 것처럼 들립니다.

하지만 시스템이 좁은 범위의 출처만을 검색했거나, 지배적인 도메인을 선호했거나, 소수 의견의 증거를 무시했거나, 혹은 의견 불일치를 하나의 확신에 찬 문단으로 압축했을 수도 있습니다.

증거가 불완전할 때조차 답변은 마치 합의된 내용처럼 느껴질 수 있습니다.

고위험 주제는 더 많은 확인이 필요합니다

AI 검색은 질문이 다음과 관련될 때 특히 위험합니다:

시사 뉴스 (Current events)
건강, 금융, 법률 또는 안전 관련 주제
제품 가격 또는 가용성
정치적 주장
과학적 불확실성
지역 정보
빠르게 변하는 소프트웨어 또는 기술 문서
브랜드 비교
평판에 민감한 주제

유럽 방송 연맹(European Broadcasting Union)과 BBC는 AI 어시스턴트와 뉴스 콘텐츠에 대한 대규모 국제 공동 연구를 진행했습니다. 전문 저널리스트들이 14개 언어로 작성된 3,000개 이상의 응답을 평가했습니다. EBU 연구 요약에 따르면, 연구 결과 AI 답변의 45%에서 적어도 하나 이상의 중대한 문제가 발견되었습니다.

뉴스는 빠르게 변하고 맥락에 의존하기 때문에 유용한 스트레스 테스트(stress test)가 됩니다.

하지만 이 교훈은 오래되었거나 불완전한 정보가 해를 끼칠 수 있는 모든 주제에 적용됩니다.

이것이 브랜드와 퍼블리셔에게 중요한 이유

브랜드의 경우, AI 검색은 사용자가 웹사이트에 도달하기 전에 인식을 형성할 수 있습니다.

AI 답변은 제품을 요약하거나, 경쟁사와 비교하거나, 제3자의 리뷰를 인용하거나, 오래된 제약 사항을 언급하거나, 브랜드에 부정적인 맥락을 부여할 수 있습니다. 만약 사용자가 클릭하여 유입되지 않는다면, AI 답변이 사용자의 전체적인 인상이 될 수 있습니다.

퍼블리셔(Publishers)의 경우, 리스크의 성격이 다릅니다.

AI 답변이 원래의 보도 내용을 잘못 전달하거나 잘못된 페이지를 인용하더라도, 해당 답변이 신뢰할 수 있게 느껴지도록 퍼블리셔의 신뢰도가 이용될 수 있기 때문입니다.

이것이 바로 AI 가시성(AI visibility)이 단순한 마케팅 지표가 아닌 이유입니다.

그것은 신뢰 지표(trust metric)입니다.

웹사이트 소유자는 다음 사항을 추적해야 합니다:

자신들이 인용되고 있는지 여부
어떤 페이지가 인용되는지
인용 내용이 주장(claim)을 뒷받침하는지 여부
답변이 긍정적인지, 중립적인지, 또는 부정적인지 여부
오래된 정보가 반복되고 있는지 여부
제3자 소스가 공식 페이지보다 브랜드를 더 자주 나타내는지 여부
프롬프트 변형(prompt variants)에 따라 AI 답변이 변하는지 여부

AIvsRank의 AI Search Visibility Checker는 수시 점검(spot checks)에 유용합니다. 이제 질문은 더 이상 "우리가 순위권에 있는가?"만이 아니기 때문입니다. "AI 시스템이 우리를 언급하고, 인용하며, 정확하게 표현하고 있는가?" 또한 중요한 질문입니다.

웹사이트가 오정보를 줄이는 방법

웹사이트 소유자가 모든 AI 답변을 통제할 수는 없습니다.

하지만 모호함을 줄일 수는 있습니다.

유용한 단계는 다음과 같습니다:

크롤링 가능한(crawlable) 페이지에 공식적인 사실을 게시하십시오.
날짜와 버전 정보를 명확히 표시하십시오.
제약 사항과 주의 사항을 직접적으로 설명하십시오.
블로그 게시물을 표준(canonical) 문서나 제품 페이지로 연결하십시오.
가시적인 콘텐츠와 일치하는 경우 구조화된 데이터(structured data)를 사용하십시오.
모호한 마케팅 문구 속에 핵심 사실을 묻어두지 마십시오.
주요 제품 또는 정책 변경 후에는 AI 답변을 모니터링하십시오.

AI 검색 엔진을 위해 최적화하는 방법에 대한 AIvsRank의 가이드는 이를 콘텐츠를 검색 가능하고(retrievable), 이해 가능하며(understandable), 추출 가능하고(extractable), 신뢰할 수 있게(credible) 만드는 과정이라고 설명합니다.

AI 검색에서 순위보다 인용이 더 중요한 이유에 관한 관련 기사는 왜 인용의 맥락(citation context)이 나타나는 것만큼이나 중요한지를 설명합니다.

반복적인 모니터링을 위해, AIvsRank 기능, 문서(Docs), 그리고 geoskills는 반복적인 프롬프트 점검(prompt checks), 엔티티 추적(entity tracking), 그리고 인용 검토(citation reviews)를 지원할 수 있습니다. 리더보드(leaderboard)는 카테고리 수준에서의 가시성(visibility)을 파악하는 데 도움을 줄 수 있으며, 무료 도구(free tools) 허브는 빠른 진단에 유용합니다.

사용자가 AI 답변을 검증해야 하는 방법

사용자는 AI 검색을 거부할 필요가 없습니다.

더 나은 습관이 필요할 뿐입니다.

간단한 규칙:

틀렸을 때의 비용이 높을수록 답변을 덜 신뢰하라.

중요도가 낮은 질문의 경우, AI 요약만으로 충분할 수 있습니다. 하지만 중요한 질문의 경우, 사용자는 답변을 결론이 아닌 시작점으로 취급해야 합니다.

더 나은 습관:

최소 하나 이상의 1차 출처(primary source)를 클릭하십시오.
인용이 정확한 주장(claim)을 뒷받침하는지 확인하십시오.
제품, 정책, 건강, 법률 또는 금융 사실에 대해서는 공식 출처를 우선하십시오.
논쟁의 여지가 있는 주제에 대해서는 여러 출처를 비교하십시오.
오래된 날짜가 있는지 주의하십시오.
어떤 증거가 답변을 바꿀 수 있는지 질문하십시오.
답변에 인용은 있지만 명확한 불확실성(uncertainty)이 표시되지 않는 경우 회의적으로 접근하십시오.

최상의 AI 검색 경험은 검증을 불필요하게 만드는 것이 아니라, 검증을 더 쉽게 만들어야 합니다.

목표는 조정된 신뢰(calibrated trust)입니다

신뢰 문제에 대한 해답은 다음과 같은 것이 아닙니다:

AI 검색을 절대 사용하지 마라.

그것은 비현실적이며 불필요합니다.

AI 검색은 유용할 수 있습니다. 사용자가 빠르게 방향을 잡고, 아이디어를 비교하며, 긴 주제를 요약하고, 시작점을 찾는 데 도움을 줄 수 있습니다.

하지만 사용자에게는 조정된 신뢰(calibrated trust)가 필요합니다.

사용자는 주제, 출처의 품질, 인용의 일치 여부, 이해관계(stakes), 그리고 정보의 최신성(freshness)에 따라 AI 답변을 다르게 신뢰해야 합니다.

웹사이트 소유자들에게도 동일한 조정이 필요합니다.

그들은 AI 시스템이 자신의 페이지를 보여주는지뿐만 아니라, AI 시스템이 자신의 정보를 더 신뢰할 수 있게 만드는지, 아니면 단순히 자신의 권위(authority)를 빌려 쓰기만 하는지를 물어야 합니다.

승리하는 AI 검색 시스템은 단순히 빠르게 답변하는 것에 그치지 않을 것입니다.

그들은 왜 그 답변이 믿을 만한 가치가 있는지를 명확히 밝힐 것입니다.

FAQ

사용자는 왜 출처를 클릭하지 않고 AI 검색 답변을 신뢰하나요?

답변이 유창하고, 구조화되어 있으며, 완전해 보이고, 때로는 인용(citation)이 포함되어 있기 때문입니다. 그러한 형식은 사용자로 하여금 출처를 확인하는 작업이 이미 완료되었다고 느끼게 만듭니다.

AI 답변의 인용(citation)은 신뢰할 수 있나요?

항상 그렇지는 않습니다. 인용은 연결된 출처가 해당 인용에 붙은 정확한 주장(claim)을 뒷받침할 때만 신뢰할 수 있습니다.

AI 검색에서의 신뢰 환상(trust illusion)이란 무엇인가요?

신뢰 환상이란 AI 답변이 불완전하거나 부정확할 수 있음에도 불구하고, 답변이 잘 작성되고 구조화되어 있으며 인용이 포함되어 있다는 이유로 신뢰할 수 있다고 느끼는 현상을 말합니다.

사용자는 AI 요약에서 출처를 클릭하나요?

Pew Research Center의 조사에 따르면, 사용자가 그러한 요약이 포함된 페이지를 방문했을 때 Google AI 요약 내의 링크를 클릭한 비율은 단 1%에 불과했습니다.

브랜드는 AI 검색 신뢰 문제를 어떻게 모니터링할 수 있나요?

브랜드는 언급(mention), 인용된 URL, 인용의 정확성, 답변의 감성(sentiment), 오래된 주장, 경쟁사 맥락, 그리고 AI 시스템이 공식 페이지에 의존하는지 아니면 제3자 요약에 의존하는지를 추적해야 합니다.

사용자는 중요한 AI 답변을 어떻게 검증해야 하나요?

1차 출처(primary sources)를 클릭하고, 인용이 정확한 주장을 뒷받침하는지 확인하며, 여러 출처를 비교하고, 날짜를 확인해야 합니다. 특히 건강, 법률, 금융, 안전 및 시사 문제에 대해서는 각별히 주의해야 합니다.