알고리즘적 캐리커처: 위기 상황 전반에 걸친 LLM 생성 정치 담론 감사
요약
본 연구는 LLM이 위기 상황에서 생성하는 정치 담론에 대한 우려를 다루며, 기존 텍스트 탐지 기술의 한계를 지적합니다. 대신 계산 사회과학(CSS) 관점을 채택하여 합성된 담론이 실제 온라인 인구와 유사하게 행동하는지를 분석했습니다. 연구진은 다양한 위기 사건 코퍼스를 구축하고 '캐리커처 갭(Caricature Gap)'이라는 새로운 측정치를 제안했는데, 이는 생성된 정치 담론의 주요 한계가 문법적 유창성이 아닌 사회적 현실성 부족에 있음을 보여줍니다.
핵심 포인트
- LLM이 위기 상황에서 대규모로 유창한 정치 텍스트를 생성하여 합성 담론에 대한 우려가 증가하고 있다.
- 전통적인 AI 텍스트 탐지 기술(퍼플렉서티, 버스티니스 등)은 시스템 개선으로 인해 신뢰도가 낮아지고 있다.
- 연구는 계산 사회과학(CSS) 관점을 도입하여, 합성된 담론이 실제 온라인 인구의 행동 패턴을 따르는지를 감사하는 새로운 접근 방식을 제시한다.
- 새롭게 정의된 '캐리커처 갭(Caricature Gap)'은 이벤트 유형에 따라 달라지며, 생성된 담론의 주요 한계가 문법적 유창성이 아닌 사회적 현실성 감소에 있음을 입증했다.
대규모 언어 모델(LLMs)은 대규모로 유창한 정치 텍스트를 생성할 수 있어, 위기 및 사회 갈등 상황에서 합성된 담론에 대한 우려를 높이고 있습니다. 기존의 AI 텍스트 탐지 기술은 퍼플렉서티(perplexity), 버스티니스(burstiness), 또는 토큰 불규칙성과 같은 문장 수준의 단서에 초점을 맞추는 경우가 많지만, 이러한 신호들은 생성 시스템이 개선됨에 따라 약해질 수 있습니다. 대신 저희는 계산 사회과학(Computational Social Science) 관점을 채택하여 합성된 정치 담론이 관찰되는 온라인 인구와 유사하게 행동하는지 질문합니다. 저희는 9가지 위기 사건(COVID-19, Jan. 6 Capitol attack, 2020 및 2024년 미국 선거, Dobbs/Roe v. Wade, 2020 BLM 시위, 미국 중간선거, Utah shooti)에 걸친 1,789,406개의 게시물로 구성된 쌍을 이루는 코퍼스를 구축했습니다.
이러한 차이는 이벤트에 따라 달라집니다: 빠르게 진행되고 분산된 위기 상황일수록 더 크고, 공식적이거나 제도적으로 매개되는 이벤트일수록 작습니다. 우리는 이를 간단한 이벤트 수준 측정치인 캐리커처 갭(Caricature Gap)으로 요약합니다. 우리의 연구 결과는 합성 정치 담론의 주요 한계가 문법이나 유창성이 아니라 인구 현실성 감소에 있다는 것을 시사합니다. 인구 수준 감사(Population-level auditing)는 전통적인 텍스트 탐지 기능을 보완하며, 생성된 담론의 사회적 현실성을 평가하기 위한 CSS 프레임워크를 제공합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기