대규모 언어 모델(LLMs)은 대규모로 유창한 정치 텍스트를 생성할 수 있어, 위기 및 사회 갈등 상황에서 합성된 담론에 대한 우려를 높이고 있습니다. 기존의 AI 텍스트 탐지 기술은 퍼플렉서티(perplexity), 버스티니스(burstiness), 또는 토큰 불규칙성과 같은 문장 수준의 단서에 초점을 맞추는 경우가 많지만, 이러한 신호들은 생성 시스템이 개선됨에 따라 약해질 수 있습니다. 대신 저희는 계산 사회과학(Computational Social Science) 관점을 채택하여 합성된 정치 담론이 관찰되는 온라인 인구와 유사하게 행동하는지 질문합니다. 저희는 9가지 위기 사건(COVID-19, Jan. 6 Capitol attack, 2020 및 2024년 미국 선거, Dobbs/Roe v. Wade, 2020 BLM 시위, 미국 중간선거, Utah shooti)에 걸친 1,789,406개의 게시물로 구성된 쌍을 이루는 코퍼스를 구축했습니다.

이러한 차이는 이벤트에 따라 달라집니다: 빠르게 진행되고 분산된 위기 상황일수록 더 크고, 공식적이거나 제도적으로 매개되는 이벤트일수록 작습니다. 우리는 이를 간단한 이벤트 수준 측정치인 캐리커처 갭(Caricature Gap)으로 요약합니다. 우리의 연구 결과는 합성 정치 담론의 주요 한계가 문법이나 유창성이 아니라 인구 현실성 감소에 있다는 것을 시사합니다. 인구 수준 감사(Population-level auditing)는 전통적인 텍스트 탐지 기능을 보완하며, 생성된 담론의 사회적 현실성을 평가하기 위한 CSS 프레임워크를 제공합니다.