영어를 정교하게 쓸수록 'AI 같다'고 판정될까? 퍼플렉서티와 버스티니스로 분석하는 AI 텍스트 탐지 메커니즘

README, 영어 문서, 유학이나 자격시험 에세이. 영어를 제2언어로 쓰는 사람들에게 'AI 텍스트 탐지기'의 판정은 남의 일이 아닙니다.

자주 오해되지만, AI 텍스트 탐지기의 다수는 생성 모델의 '필적(筆跡)'을 구별하는 마법 같은 분류기는 아닙니다. 문서를 '얼마나 예측하기 쉬운가', '얼마나 균일한가'와 같은 소수의 통계량으로 환원하여 그 값에 임계값을 적용하고 있는 경우가 많습니다. 그리고 이 설계에는 잘 알려진 약점이 있습니다. 바로 제2언어로 쓰는 사람의 글을 불리하게 취급한다는 점입니다.

본 기사에서는 탐지에 사용되는 주요 신호를 개념 수준에서 정리하고, 왜 단순한 영어 문장이 'AI 쪽'으로 치우치게 되는지 살펴본 후, 탐지기를 만들거나 도입하는 측이 무엇을 의식해야 하는지 요약합니다.

언어 모델에 텍스트를 토큰 단위로 입력하면, 모델은 각 단계에서 '실제로 다음에 온 토큰'에 확률을 할당합니다. 퍼플렉서티(Perplexity)는 간단히 말해 전체 시퀀스의 음의 로그 확률 평균을 지수화한 것입니다.

PPL(x) = exp( -(1/N) * Σ log p(x_i | x_<i) )

퍼플렉서티가 낮다는 것은 모델이 다음 단어를 거의 '놀라지 않은' 상태로 느꼈다는 의미입니다.

왜 이것이 기계 생성 텍스트와 상관관계가 있을까요? 채팅형 모델은 확률이 높은 다음 내용을 선택하며 디코드하기 때문에, 출력이 분포의 낮은 퍼플렉서티 쪽으로 모이기 쉽기 때문입니다. 이 성질을 이용하는 탐지기는 본질적으로 '이것이 모델이 선택할 법한 글인가?'를 묻고 있는 것입니다.

퍼플렉서티는 평균값이므로, 글의 '형태'가 보이지 않습니다. 인간의 글은 들쭉날쭉한 것이 일반적입니다. 짧게 단정하는 문장, 종속절을 포함한 긴 문장, 그리고 단편적인 한 문장. 이러한 변동성은 문장별 길이 또는 문장별 퍼플렉서티의 분산으로 포착될 수 있습니다.

아래는 문장의 길이만을 사용한, 어디까지나 실험적인 예시입니다 (실제 탐지기가 이렇게 작동하는 것은 아닙니다).

import re, statistics
def sentence_lengths(text):
sents = [s for s in re.split(r"[.!?]+\s*", text) if s.strip()]
...

첫 번째 문장은 문장 길이가 거의 일정하고, 두 번째 문장은 크게 변동합니다. '분산이 작다 = 기계적이다'라고 가중치를 주는 탐지기라면, 첫 번째 문장을 의심하기 쉽습니다.

어휘적인 특징을 추가하는 탐지기도 있습니다. 'Furthermore', 'In conclusion' 같은 연결 표현의 빈도, 깔끔하게 3개로 나열된 목록화, 일반적인 표현 등이 그것입니다. 계산 비용이 낮고 채팅봇 출력과 확실히 상관관계가 있습니다. 하지만 이것들은 영어 작성법을 배우는 방식과도 상관관계가 있습니다.

제2언어로 정교하게 영어를 쓰는 사람들은 네이티브 작가에 비해 다음과 같은 경향을 보이는 경우가 많습니다.

• 빈도가 높은 단어를 선택한다 (토큰별 놀라움이 줄어듦 → 퍼플렉서티 하락)
• 신뢰할 수 있는 소수의 문형을 반복한다 (분산이 작아짐 → 버스티니스 하락)
• 교과서에서 배운 격식적인 접속사를 사용한다 (정형 패턴의 히트 증가)

세 가지 시그널이 모두 같은 방향으로 움직입니다. 여기서 측정되는 것은 성실함이 아닙니다. 이 특징량들이 나타내는 것은 '지극히 평범하고 정교한 글'이며, 정교하게 배우는 사람일수록 바로 그러한 글을 씁니다.

실증 결과도 명확합니다. Liang 등은 널리 사용되는 7가지 AI 텍스트 탐지기를 인간이 작성한 TOEFL 에세이 91개와 미국 중학교 2학년(8th grade)의 에세이 88개에 적용했습니다. 미국의 학생 에세이는 올바르게 분류된 반면, TOEFL 에세이에서의 평균 위양성률은 약 61%였습니다. 7가지 모든 탐지기에서 AI로 판정된 TOEFL 에세이는 다른 에세이보다 퍼플렉서티가 유의미하게 낮은 결과를 보였습니다. 게다가 네이티브 에세이의 어휘를 단순화하자 오분류가 크게 증가했습니다. 라벨을 움직이는 것은 작성자가 아니라 특징량이라는 것을 상당히 직접적으로 보여주는 결과입니다.

참고로 저자들 자신이 언급한 주의점으로는, 이것은 비교적 작은 샘플에 의한 파일럿 연구이며, 2023년 초반에 검증된 많은 탐지기는 오래되고 소규모의 언어 모델을 기반으로 하고 있었습니다. 도구는 이후 바뀌었지만, '예측하기 쉬움'에 의존하는 시그널인지는 계속해서 주의 깊게 살펴봐야 할 부분입니다.

위양성률(False Positive Rate)이 낮더라도 규모가 크면 그 영향을 무시할 수 없습니다. 미국 밴더빌트 대학교는 사용하던 상용 AI 탐지 기능을 비활성화한 이유를 설명하면서, 해당 공급업체 스스로 공표했던 위양성률 1%(실측값 아님)만 하더라도 2022년에 제출된 약 75,000편의 에세이 중 약 750편을 오인하여 라벨링했을 수 있다고 추산했습니다. 만약 이러한 오류가 특정 그룹에 편중되어 있다면, 특징량(Feature) 측면에서 불리한 학생들에게 잘못된 판정이 집중될 수 있습니다.

도구 간의 불일치 역시 증상 중 하나입니다. 스탠퍼드 데이터에 따르면, TOEFL 에세이의 97.8%가 최소 하나의 탐지기에는 판정되었지만, 7개 모두에서 판정된 것은 단 19.8%에 불과했습니다. 임계값(Threshold)이나 특징량이 다르면 판정도 완전히 달라집니다.

원리로부터 자연스럽게 도출할 수 있는 몇 가지 원칙이 있습니다.

• 점수뿐만 아니라 근거를 제시한다. 문장 단위로 하이라이트하면, 'AI' 신호가 정형적인 도입부나 정의문(위양성이 발생하기 쉬운 부분)에서 오는지 독자가 확인할 수 있습니다. - 판단을 자동화하지 않는다. 문체에 대한 통계적 추측만으로는 누가 썼는지 확정할 수 없습니다. 탐지 결과는 증거 중 하나일 뿐, 증명이 아닙니다. 플래그(flag)는 '주의 깊게 살펴보고 작성자와 대화할 계기'로 취급해야 하며, 결론으로 다루어서는 안 됩니다.

퍼플렉서티(Perplexity)나 버스티니스(Burstiness)와 같은 신호는 텍스트의 속성을 잘 설명합니다. 하지만 그것은 누가 작성했는지에 대한 설명이 아닙니다. '예측하기 쉬운 것'을 '기계가 작성한 것'과 동일시하는 시스템은, 전혀 인간적인 이유로 예측하기 쉬운 글을 쓰는 사람들을 체계적으로 오해하게 만듭니다. 가장 이해하기 쉬운 예는 영어를 배우고 있는 사람들입니다. UI도 문서도 운영 흐름도 이 전제를 바탕으로 설계해야 합니다.

Miles (London, United Kingdom)

참고 문헌

• Liang, W., Yuksekgonul, M., Mao, Y., Wu, E. & Zou, J. (2023). Patterns, 4(7), 100779. https://doi.org/10.1016/j.patter.2023.100779 (프리프린트: arXiv:2304.02819). 본문에서는 검증 대상 탐지 도구명을 언급하지 않았습니다. - Vanderbilt University, AI 탐지 기능 비활성화 공지 블로그 게시물, 2023년 8월. 보도: Tom Carter, "Universities ditch AI detectors over fears students could be falsely accused of cheating", Business Insider, 2023년 9월 22일. https://www.businessinsider.com/universities-ditch-ai-detectors-over-fears-students-falsely-accused-cheating-2023-9

AI 도움을 받아 작성 및 저자 수정.