컴퓨터 과학 > 계산 및 언어

제목: SlopShape: AI 생성 상업 웹 콘텐츠 식별

PDF 보기 HTML (실험적)

초록:
단어 수준의 탐지기는 편집되지 않은 AI 생성 텍스트를 거의 완벽하게 식별하지만, 문헌에서는 재작성(rewording)에 취약하다는 점을 기록하고 있으며, 단어 수준 점수는 텍스트 자체를 특징짓거나 어떤 AI 모델이 작성했는지 식별하지 못합니다. 우리는 AI 생성 텍스트가 구조적 서명(structural signatures), 즉 정보가 어떻게 제시되는지, 어떤 순서로, 어떤 증거와 함께, 그리고 어떤 목소리로 제시되는지를 통해 한 단계 더 깊은 수준에서 식별될 수 있는지 질문합니다. 우리는 StoryScope (Russell et al., 2026)를 재현하여 AI 생성 소설에 대해 보여준 이러한 패턴을 상업 콘텐츠에 적용했습니다: 268개 회사 도메인에서 가져온 ChatGPT 이전의 인간 블로그 게시물 2,250건과 다섯 가지 최첨단 모델(frontier models)로부터 얻은 AI 미러(AI mirrors) 11,250건입니다. LLM이 적용하고 인간 금 표준 주석 세션(human-human kappa 0.939, human-model 0.951)에서 검증한 203개 특징(feature) 도구는 오직 그 176개 구조적 특징만으로 보유된 회사 콘텐츠에서 AI 게시물을 97.0의 최대 macro-F1로 탐지하며, 모든 AI 게시물이 자체 모델에 의해 재작성되었을 때도 거의 변하지 않는 수치(96.1)를 보입니다. 이 신호는 특징화하고 귀속합니다: AI 게시물은 깔끔하고 스스로 광고하는 형태를 공유하며, 68.6%가 16.7%의 우연 발생률 대비 정확한 출처에 귀속되며, 인간 게시물은 희귀한 구조적 구성을 차지합니다. 모든 효과는 StoryScope와 일치하게 재현되었으며, 방향성뿐만 아니라 크기 면에서도 적어도 같거나 더 큽니다. 우리는 파이프라인, 도구(instrument), 프롬프트, 코드 및 집계된 아티팩트를 공개합니다.

참고문헌 및 인용 도구

이 논문과 관련된 코드, 데이터 및 미디어

데모

추천 시스템 및 검색 도구

arXivLabs: 커뮤니티 협력자가 웹사이트에서 새로운 arXiv 기능을 개발하고 공유할 수 있게 하는 프레임워크입니다.

arXivLabs를 사용하는 개인 및 조직들은 개방성, 커뮤니티, 탁월함, 사용자 데이터 프라이버시라는 우리의 가치를 수용하고 받아들였습니다. arXiv는 이러한 가치에 전념하며, 이를 준수하는 파트너와만 협력합니다.

arXiv의 커뮤니티에 가치를 더할 프로젝트 아이디어가 있으신가요? arXivLabs에 대해 더 알아보기.