뉴스 중개자로서의 상용 AI 챗봇 평가

AI 챗봇은 사람들이 뉴스를 접하는 방식을 빠르게 변화시키고 있지만, 독자적인 검색 통합 및 검색-합성 파이프라인 (retrieval-synthesis pipelines)을 갖춘 이러한 시스템들이 다양한 언어와 지역에 걸쳐 새로운 사실들을 얼마나 정확하게 처리하는지를 체계적으로 측정한 선행 연구는 없었습니다. 본 연구에서는 6개의 AI 챗봇 (Gemini 3 Flash 및 Pro, Grok 4, Claude 4.5 Sonnet, GPT-5 및 GPT-4o mini)을 대상으로 14일간 (2026년 2월 9일~22일) 평가를 진행하였으며, 6개 지역 서비스 (미국 및 캐나다, 아랍어, 아프리카, 힌디어, 러시아어, 터키어)의 당일 BBC News 보도에서 추출한 2,100개의 사실 기반 질문을 사용했습니다. 가장 우수한 시스템들은 몇 시간 전에 보도된 사건에 관한 객관식 질문에서 90% 이상의 정확도를 달성했습니다. 그러나 동일한 시스템들이 자유 응답 (free-response) 평가에서는 11-13%의 정확도 하락을 보였으며, 전체 코호트(cohort) 기준으로는 16-17%의 하락을 보였습니다. 우리는 더 나아가 세 가지 실패 패턴을 규명했습니다. 첫째, 모든 모델은 힌디어에서 가장 낮은 정확도를 기록했으며 (다른 지역의 89-91% 대비 79%), 인용 문헌을 통해 영어권 검색 편향 (Anglophone retrieval bias)이 나타났습니다 (예: 힌디어 질의에 답하는 모델들이 다른 어떤 힌디어 매체보다 영어 Wikipedia를 더 많이 인용함). 둘째, 추론 (reasoning)이 아닌 검색 (retrieval)의 실패가 전체 오류의 70% 이상을 유발했습니다. 모델이 올바른 출처를 검색했을 때는 종종 정답을 추출해냈으나, 문제는 애초에 올바른 출처에 도달하는 것이었습니다. 셋째, 잘 구성된 질문에서 88-96%의 정확도를 달성한 모델들도 질문에 미묘한 거짓 전제 (false premises)가 포함될 경우 정확도가 19-70%로 급락했으며, 가장 취약한 모델은 조작된 사실을 64%의 확률로 수용했습니다. 우리는 또한 탐지-정확도 역설 (detection-accuracy paradox)을 확인했습니다: 가장 뛰어난 거짓 전제 탐지기가 적대적 정확도 (adversarial accuracy, 기권율)에서는 2위를 기록한 반면, 더 약한 탐지기가 1위를 차지했는데, 이는 전제 탐지와 답변 복구 (answer recovery)가 부분적으로 독립적인 능력임을 보여줍니다. 종합적으로, 이러한 결과는 높은 정확도가 체계적인 지역적 불평등, 검색 인프라에 대한 거의 완전한 의존성, 그리고 실제 사용자가 제기하는 불완전한 질의에 대한 취약성을 가릴 수 있음을 시사합니다.