Luminol-AIDetect: 텍스트 셔플링 기반 혼란도 (Perplexity) 를 활용한 빠른 제로샷 기계 생성 텍스트 탐지

기계 생성 텍스트 (Machine-Generated Text, MGT) 탐지는 모델별 지문 (fingerprints) 에 의존하기보다 생성 모델 간 구조적으로 불변인 신호를 식별하는 것을 필요로 합니다. 이 관점에서 우리는 대규모 언어 모델이 지역적 의미적 일관성 (local semantic consistency) 에서 뛰어난 반면, 자동회귀적 성질 (autoregressive nature) 은 인간 글쓰기와 비교했을 때 특정 종류의 구조적 취약점 (structural fragility) 을 가진다고 가설을 세웁니다. 우리는 이를 통해 혼란 (coherence) 이 깨지는 현상을 드러내는 새로운 제로샷 통계적 접근법인 Luminol-AIDetect 를 제안합니다. 간단한 무작위 텍스트 셔플링 (text-shuffling) 절차를 적용함으로써, 우리는 얻어지는 혼란도 (perplexity) 의 변화가 원칙적이고 모델 독립적인 판별자 (discriminant) 역할을 함을 보여줍니다. 기계 생성 텍스트는 셔플링 하의 혼란도에서 특징적인 분산 (dispersion) 을 보이며, 이는 인간 작성 텍스트의 더 안정적인 구조적 변동성과 뚜렷하게 다릅니다. Luminol-AIDetect 는 이 구별점을 의사결정 과정에 활용하며, 입력 텍스트와 그 셔플링 버전으로부터 혼란도 기반 스칼라 특징량 (scalar features) 을 소수 추출한 뒤 밀도 추정 (density estimation) 과 앙상블 기반 예측을 통해 탐지를 수행합니다. 8 개의 콘텐츠 도메인, 11 가지 적대적 공격 유형, 그리고 18 개 언어에 걸쳐 평가된 결과, Luminol-AIDetect 는 기존 방법보다 최대 17 배 낮은 거짓 양성률 (FPR) 을 보이며 성능이 더 우수하고 비용도 저렴함을 입증했습니다.