출처 표기가 중요할까? 의료 정보를 위한 Google의 AI Overviews의 품질, 근거 기반 적합성 및 의사 평가 기준 정확도

Google의 AI Overviews(AIOs)는 사용자가 웹을 검색할 때 접하는 첫 번째 결과물이며, 소스를 선택하고 평가하는 작업을 사용자로부터 Gemini로 전환시키고 있습니다. 이는 특히 건강 정보에 있어 중대한 영향을 미칠 수 있는데, Google의 기존 알고리즘은 품질 높은 출처를 우선시하도록 설계되었으며 부정확한 정보는 건강상의 위험을 초래하기 때문입니다. 우리는 3,611개의 벤치마크 건강 질문을 평가하여, 각 AIO를 해당 질문의 상위 다섯 가지 전통적 결과와 소스 선택 및 품질 측면에서 비교했습니다. 또한, 인용된 출처에 대한 AIO의 진술 근거 마련(statement grounding)과 의사 작성 루브릭(physician-written rubrics) 대비 AIO의 정확도를 평가했습니다. Overviews는 질문의 96.4%에서 나타났지만, 전통적인 검색과는 상당히 다른 증거를 활용했습니다. 상위 다섯 가지 결과 중 단지 44.4%만이 해당 AIO에 의해 인용되었으며, 대신 학술 및 정부 출처(예: Cleveland Clinic, National Health Service)의 비중을 희생시키면서 상업적 건강 출판사(예: WebMD, Healthline)를 과도하게 대표했습니다. AIO가 인용한 페이지는 여섯 가지 잘 확립된 신뢰성 기준 중 네 가지에서 전통적인 결과보다 낮은 점수를 받았습니다. AIO 진술의 출처 근거 마련은 미흡했습니다. 분류기 오류(classifier error)를 보정한 후, 추정치로 인용된 진술 중 56.7%만이 해당 페이지에 의해 뒷받침되었으며, 모든 진술 중 추가적으로 20.8%는 아예 인용되지 않은 사실적 주장이었습니다. AIO가 의사의 루브릭으로 평가되었을 때, 전체 사용 가능한 점수 중 38.2%를 획득했습니다(예: 정확도 54.2%, 완전성 21.6%). 특히, 의사 루브릭이 특정 부정확하거나 잠재적으로 유해한 주장을 예상했던 AIO의 하위 집단에서, 22.2%의 AIO가 유해한 콘텐츠를 포함하고 있었습니다. 주목할 만한 점은 AIO의 정확도가 그 진술의 근거 마련과는 관련성이 없었다는 것입니다. 우리는 사용자들을 위한 AIO 리터러시 개입(AIO literacy interventions)을 권장하며, AIOs가 최소한 Google 자체의 건강 순위 기준을 준수하도록 해야 한다고 제언합니다.