AI 탐지기에 8개 텍스트를 돌려봤더니, 인간이 작성한 단락이 99% AI로 판정되다

대부분의 탐지기들은 정확도 수치를 인용합니다. 저희는 오차 범위(error bars)를 직접 느껴보고 싶어서, 저희 사이트에 임베딩된 무료 Clever AI Detector를 이용해 작게, 그리고 모든 것을 공개하는 테스트를 진행했습니다: AI가 생성한 4개 텍스트 대 인간이 작성한 4개 텍스트로 구성되었으며, 각 텍스트는 110~160단어 분량으로 한 번씩 실행했고, 모든 점수가 기록되었습니다 (2026년 10월 17일).

점수 결과

위키피디아 단락이 실패한 이유

탐지기의 어휘(vocabulary)가 이를 설명합니다: 백과사전식 산문은 **낮은 퍼플렉서티(low-perplexity)**와 **낮은 버스티니스(low-burstiness)**를 가집니다. 이는 중립적인 레지스터, 표준 구성, 그리고 비정상적으로 균일하게 분포된 내용어(content words)로 이루어져 있습니다. 이러한 특성들은 탐지기들이 기계 출력과 연관 짓도록 학습하는 바로 그 통계적 속성이며, 기본적으로 모델이 생성한 텍스트가 보이는 모습입니다. 즉, 이 탐지기는 저자의 작성 여부가 아니라 '교과서적인 레지스터(textbook register)'를 읽고 있었던 것입니다.

이는 발표된 연구와도 일치합니다: Liang 등 (2023)은 광범위하게 사용되는 탐지기들이 비원어민 영어 작가들을 체계적으로 오판한다는 것을 발견했습니다. 즉, 제약적이고 신중한 산문이 기계적인 산문으로 읽히는 것입니다.

시사점(Takeaways)

• 신뢰도 백분율은 작성자의 노트북이 아니라 탐지기의 모델을 설명합니다.
• 점수는 단 하나의 확률적 신호일 뿐입니다. 워터마크는 위조될 수 있으며, 재귀적 패러프레이징(recursive paraphrasing)은 신경망 탐지기를 무력화시킵니다 (Sadasivan 등, TMLR).
• 안전한 작업 흐름은 스크리닝이 아니라 검토입니다: 텍스트를 읽고, 주장을 확인하며, 확률을 넘어선 증거로부터 저자성을 판단해야 합니다.

솔직한 한계점

여덟 개의 텍스트, 하나의 탐지기, 한 번의 실행으로, AI 그룹과 인간 그룹은 서로 다른 주제와 레지스터를 다루고 있습니다. 이는 실제적인 혼란(confound)이며, 아마도 백과사전식 텍스트에서 탐지기가 오작동한 이유일 것입니다. 그리고 네: 이 탐지기는 저희 자체 사이트에 내장되어 있기 때문에, 그 공개 고지는 각주가 아니라 전체 기사의 상단에 위치합니다.

전체 방법론, 모든 점수 및 출처: rewriteai.site/post/ai-detector-false-positive-test

이 모든 것의 배경이 되는 용어들: AI 탐지 용어집 - 퍼플렉서티, 버스티니스, 워터마킹

저희는 AI 작문 및 탐지 도구 키트인 RewriteAI의 팀입니다. 이 크로스 포스트는 원본 연구에 대한 정식 링크를 포함하고 있습니다.