AI가 작성한 글은 기술적으로 어떻게 구별할 수 있는가

서론

독자들은 AI가 작성한 글을 알아차릴 수 있을까요?

이 질문을 생각할 때, 먼저 'AI 같은 느낌'이라는 인상과 기계적인 탐지(detection)를 구분해야 합니다. 인간이 이질감을 느끼는 것과 탐지기가 AI 생성이라고 판정하는 것은 같지 않습니다.

기술적인 결론부터 말하자면, AI 텍스트 탐지기는 글의 출처(来歴)를 직접 보고 있는 것이 아닙니다. 생성할 때 워터마크가 삽입되어 있지 않은 한, 글에 남아있는 통계적·문체적 특징으로부터 AI 생성일 확률을 추정하고 있습니다.

현재의 방법은 크게 다음 두 계통으로 나뉩니다.

• 생성 시 신호를 삽입하는 전자 워터마킹(watermarking)
• 생성 후의 글을 조사하는 자동 탐지(automatic detection)

둘 다 유용한 기술이지만, 바꿔 말하기, 번역, 문체, 언어, 분량에 따라 결과가 달라집니다. 따라서 탐지 점수만을 근거로 '이 사람은 AI를 사용했다'고 단정하는 것은 위험합니다.

탐지기는 '작성자'가 아니라 '분포(Distribution)'를 보고 있다

글의 작성자를 직접 확인할 수 있는 증거에는 집필 이력, 생성 로그, 서명된 메타데이터 등이 있습니다. 이것들은 출처(provenance)에 관한 정보입니다.

반면, AI 텍스트 탐지기가 입력으로 받는 것은 보통 완성된 본문뿐입니다. 본문만 있다면, 탐지기는 다음과 같은 특징을 이용할 수밖에 없습니다.

• 다음 단어를 예측하기 쉬운가?
• 단어 선택에 편향이 있는가?
• 문장의 길이와 구문이 어느 정도 변화하는가?
• 알려진 생성 모델이 내놓을 법한 분포에 가까운가?

즉, 탐지기가 답하고 있는 것은 '이 글은 AI가 썼는가'가 아니라, 더 정확하게는 '이 글은 탐지기가 예상한 AI 생성문의 분포에 어느 정도 유사한가'입니다.

이 차이는 중요합니다. 인간이 정형적으로 작성한 글도 AI 생성문의 분포와 비슷할 수 있습니다. 반대로, AI의 글을 사람이 크게 수정하면 탐지기가 예상하는 분포에서 벗어날 수 있습니다.

1. 전자 워터마크: 생성 시 신호를 삽입한다

어떤 원리인가

LLM은 다음에 나올 토큰 후보와 각각의 확률을 계산하고 있습니다. 보통은 그 확률 분포에서 토큰을 선택하여 글을 생성합니다.

전자 워터마크는 이 선택에 미세한 편향을 가합니다.

대표적인 KGW 방식에서는 비밀 키와 직전 문맥을 사용하여 어휘를 두 개의 집합으로 나눕니다.

• green list: 선택하기 쉽게 만드는 토큰
• red list: 선택하기 어렵게 만드는 토큰

인간에게는 자연스러운 글처럼 보여도, 긴 글 전체에서는 green list의 토큰이 우연 이상으로 많이 나오게 됩니다. 탐지 측은 같은 키와 규칙을 사용하여 그 편향이 우연히 발생했을 가능성을 통계적으로 평가합니다. KGW의 원리와 짧은 문장 및 바꿔 말하기에 대한 약점은 LLM 워터마킹 서베이에 정리되어 있습니다.

여기서 중요한 것은, 워터마크가 글에 'AI 생성'이라는 문자열을 붙이는 것이 아니라는 점입니다. 탐지기가 알고 있는 키와 생성 규칙에 대응하는 눈에 보이지 않는 통계적 신호입니다.

강점과 한계

전자 워터마크의 강점은, 생성 모델과 워터마킹 방식이 알려져 있다면, 생성 후의 글만 조사하는 방식보다 명확한 검증이 가능하다는 것입니다. 생성자 측의 협력이 있는 환경에서는 출처 확인의 보조가 됩니다.

다만, 다음 조건들이 필요합니다.

• 생성 모델이 워터마크를 구현하고 있을 것
• 탐지 측이 워터마크 방식과 키를 알고 있을 것
• 워터마크를 삽입할 수 있는 길이의 글이 있을 것
• 생성 후에 신호가 파괴되지 않았을 것

짧은 문장에서는 애초에 토큰 수가 적기 때문에, 편향이 통계적으로 안정적이지 않습니다. 2026년 비교 실험에서는 100단어 미만의 짧은 글과 450단어 초과의 긴 글에서 결과에 큰 차이가 있었고, 워터마크 탐지는 긴 글 쪽이 더 안정적이었습니다. 다만, 이는 Qwen2.5 계열 모델과 특정 데이터셋을 사용한 실험 결과이며, 모든 모델이나 언어에 그대로 일반화할 수 있는 수치는 아닙니다. 같은 연구의 실험 결과에서는 워터마크 방식에 따라 짧은 문장에서의 탐지 성능에도 차이가 있었습니다.

또한, 글을 바꿔 말하거나 다른 모델로 번역·리라이트하면 토큰 선택 이력이 바뀝니다. 워터마크는 '원래 생성 과정'에 관한 신호이므로, 본문을 다른 글로 변환하면 약해지는 것은 당연합니다.

2. 자동 탐지: 글의 통계적 습관을 조사한다

워터마크가 없는 글에서는, 생성 후의 본문으로부터 AI 같은 느낌을 추정합니다. 이것이 일반적으로 'AI 체커'라고 불리는 것의 중심입니다.

perplexity: 다음 단어 예측 용이성

perplexity(困惑度, PPL)은 언어 모델이 글을 어느 정도 예측하기 어려운지를 나타내는 지표입니다. 개념적으로는 다음과 같이 계산합니다.

PPL = exp(-1/N × Σ log p(token_i | token_1 ... token_{i-1}))

어떤 모델이 글의 다음 토큰에 높은 확률을 지속적으로 할당하면, perplexity는 낮아집니다. 반대로, 예측하기 어려운 단어 배열이 많으면 높아집니다.

생성 모델은 자신이 내기 쉬운 어휘나 구문을 선택하는 경향이 있기 때문에, AI 생성 문장은 평가에 사용되는 모델에 따라 낮은 perplexity를 보일 수 있습니다.

하지만, 낮은 perplexity가 곧 AI의 증거는 아닙니다. 정형화된 비즈니스 문서, 교과서, 논문, 비원어민이 신중하게 작성한 영어 글도 예측하기 쉬운 문장이 될 수 있습니다. 또한, 프롬프트나 디코딩 설정에 따라서도 AI 생성 문장의 perplexity 자체가 변화합니다. LLM 생성 텍스트 탐지(detection) 서베이를 정리한 바와 같이, perplexity만으로는 불충분합니다.

burstiness와 entropy: 글의 변동성 보기

burstiness는 문장의 길이나 어휘 선택 등이 얼마나 들쭉날쭉한지를 나타내는 개념입니다. 인간의 글에는 짧은 문장 다음에 긴 문장이 오거나, 갑자기 구체적인 단어가 나타나는 등의 변동성이 있습니다. 반면, 생성 설정에 따라 AI의 글이 비슷한 길이와 비슷한 리듬을 갖게 될 수 있습니다.

entropy는 확률 분포의 불확실성을 측정하는 지표입니다. 다음에 선택될 토큰 후보가 넓게 분산되어 있으면 높고, 특정 후보에 집중되어 있으면 낮아집니다.

다만, burstiness에도 entropy에도 '인간이라면 반드시 높고', 'AI라면 반드시 낮은' 경계는 없습니다. 이들은 단독적인 판별 규칙이 아니라, 여러 특징 중 하나로 사용됩니다.

Binoculars, DetectGPT, MAGE 등

현재의 탐지기(detector)는 단순한 perplexity뿐만 아니라, 여러 언어 모델을 이용한 비교나, 문장을 수정했을 때의 우도 변화, 문체적 특징 등을 결합합니다.

• GLTR: 각 토큰이 모델의 예측 순위 중 어디에 위치하는지 시각화함
• DetectGPT 계열: 문장에 교란(perturbation)을 가했을 때의 모델 우도 변화를 조사함
• Binoculars: 두 모델의 perplexity, 이른바 cross-perplexity 비율을 이용함
• MAGE: 기계 학습 모델로 인간 글과 생성 글의 특징을 분류함

Binoculars처럼 여러 모델 간의 관계를 보는 방법은 perplexity 단독의 약점을 보완할 수 있습니다. 서베이에서는 특정 조건 하에서 높은 탐지율(detection rate)과 낮은 위양성률(false positive rate)이 보고되었으나, 이는 데이터셋, 모델, 임계값(threshold)을 고정시킨 평가입니다. 다른 도메인이나 언어에서도 같은 성능이 나올 것이라고 보장하지는 않습니다.

왜 탐지 결과가 쉽게 변하는가

탐지 점수는 글 자체뿐만 아니라, 탐지기가 학습하고 가정하는 조건과의 거리를 측정합니다. 따라서 다음 변수에 강하게 의존합니다.

여기서 말하는 homoglyph는 시각적으로 유사한 다른 Unicode 문자로 대체하는 공격입니다. 이는 탐지 회피뿐만 아니라, URL이나 식별자를 위장하는 보안 문제와도 연결되므로, 단순한 글쓰기 기술로 다루어서는 안 됩니다.

위양성률은 '조금 틀리는 것'만이 아니다

탐지기가 AI 생성 문장을 인간의 글로 판단하는 것이 위음성(false negative)입니다. 반대로, 사람이 쓴 글을 AI 생성으로 판단하는 것이 위양성(false positive)입니다.

위양성이 문제가 되는 것은, 글의 특징이 작성자의 속성이나 문체와 연결되어 있기 때문입니다. 어휘를 제한해서 쓰는 사람, 정형적인 문체를 사용하는 사람, 제2언어로 글을 쓰는 사람은 탐지기 입장에서 '예측하기 쉬운 글'이 될 가능성이 높습니다.

자주 인용되는 연구에서는 7개의 탐지기를 사용한 평가에서, 비원어민이 작성한 TOEFL 에세이의 위양성률이 평균 61.3%였습니다. 원 연구의 수치는 강력한 경고가 됩니다.

다만, 이 수치를 '비모국어 화자의 글은 반드시 오판된다'라고 일반화해서는 안 됩니다. 2026년 리뷰에서는 탐지기(detector), 언어, 코퍼스에 따라 차이의 크기가 달라지며, 같은 경향이 모든 조건에서 재현되는 것은 아니라고 정리했습니다. 그럼에도 불구하고, 개별적인 탐지 점수를 저자의 부정행위나 처벌의 증거로 삼기에는 신뢰성이 부족합니다. AI 탐지의 편향과 위양성(False Positive)에 관한 리뷰

이는 AI를 사용했는지 여부와는 별개의 문제입니다. 인간이 스스로 작성한 글이라 하더라도, 탐지기에 의해 AI 같은 것으로 간주되는 글은 존재합니다.

'정확도 98%'만으로는 비교할 수 없다

탐지기의 성능을 읽을 때는 어떤 종류의 숫자인지 확인해야 합니다.

Accuracy와 F1

Accuracy는 전체 정답률이고, F1은 정밀도(Precision)와 재현율(Recall)의 조화 평균입니다. 인간 문장과 AI 문장이 같은 수만큼 포함된 평가 세트에서는 직관적으로 이해하기 쉬운 지표입니다.

하지만 실제 운영에서 인간 문장이 99%, AI 문장이 1%밖에 없다면, 전부를 인간 문장으로 판정하는 것만으로도 99%의 Accuracy가 됩니다. 클래스의 비율이 다르면 숫자의 의미도 달라집니다.

AUROC와 TPR@FPR

AUROC는 판정 임계값(threshold)을 움직였을 때의 순위 지정 성능을 나타냅니다. TPR@FPR은 위양성률(False Positive Rate)을 일정 이하로 억제했을 때, 얼마나 많은 AI 문장을 포착할 수 있는지를 나타냅니다.

예를 들어, 인간의 글 1만 건을 검사하는 경우, 위양성률이 1%라도 평균적으로 100건이 AI 문장으로 오판될 수 있습니다. 고위험 용도에서는 탐지율의 높이뿐만 아니라, 얼마나 오판을 줄일 수 있는지가 중요합니다.

2026년 LREC-COLING 평가 연구는 F1, AUROC, TPR@FPR 1%와 같은 지표가 평가 데이터의 레이블 분포에 따라 다르게 보일 수 있음을 지적했습니다. 'Spotlights and Blindspots'라는 제목처럼, 성능 평가에는 스포트라이트뿐만 아니라 보이지 않는 부분도 있습니다.

실무에서 탐지 점수는 어떻게 다뤄야 하는가

탐지기를 사용하는 것 자체가 무의미한 것은 아닙니다. 용도를 한정한다면, 조사의 진입점으로서 도움이 됩니다.

사용해도 좋은 경우

• 대량의 게시물을 조사할 때의 트리아지(triage)
• 자신의 모델이나 프롬프트 출력 경향을 측정할 때
• 워터마크 방식 실험에서 조건별 차이를 비교할 때
• 추가 조사가 필요한 글을 찾을 때

단독으로 사용해서는 안 되는 경우

• 학생이나 직원의 처벌을 결정할 때
• 저자의 부정행위를 단정할 때
• 채용이나 심사의 합불을 자동으로 결정할 때
• 비모국어 화자나 특정 문체를 일률적으로 의심할 때

출처를 확인하고 싶다면, 탐지기보다 먼저 기록 시스템을 설계해야 합니다. 예를 들어, 생성 모델의 이름, 생성 일시, 프롬프트, 편집 이력, 공개 시점의 공개 정보 등을 저장합니다. 생성자와 플랫폼이 협력할 수 있다면, 서명된 메타데이터나 검증 가능한 출처 정보가 완성된 본문만으로 저자를 추정하는 것보다 본질에 가깝습니다.

전자 워터마크 역시 그 시스템이 보급되고 탐지 측에서 키와 생성 조건을 신뢰할 수 있는 경우에는 유효합니다. 다만, 워터마크는 출처 확인을 돕는 신호일 뿐, 글의 가치나 저자의 의도를 증명하는 것은 아닙니다.

'AI 같음'과 글의 가치는 별개의 문제

제가 이 주제를 조사하기 시작한 계기는 AI에게 소설을 쓰게 했을 때 느낀 위화감이었습니다. 문법적으로는 파탄하지 않았습니다. 구성도 잘 되어 있습니다. 그럼에도 불구하고, 읽고 있어 열광적이지 않습니다.

그 이유를 생각하는 과정에서 '동기의 중력'이라는 말에 도달했습니다. 인간의 글에는 왜 이것을 써야만 했는지 하는 절박함이나, 경험을 언어로 변환할 때 드는 비용이 남아있을 때가 있습니다. 이는 탐지기가 측정하는 perplexity나 entropy와는 다른 것입니다.

반대로 말하면, 탐지기가 인간답다고 판정한 글에 반드시 그 중력이 있는 것도 아닙니다. AI 같지 않은 글과 인간의 삶에 뿌리내린 글은 같은 개념이 아닙니다.

이 점은 제가 note에 쓴 '소설가는 AI에게 일자리를 빼앗길까'에서 생각하고 있는 문제와도 연결됩니다. 기술적인 탐지 가능성과 독자가 글에서 무엇을 원하는지는 나누어 생각할 필요가 있습니다.

요약

AI 텍스트 탐지에 대해 파악해 두어야 할 점들을 정리합니다.

• 전자 워터마킹(Watermark)은 생성 시 토큰 선택의 편향을 삽입합니다.
• 자동 탐지(Automatic detection)는 perplexity, entropy, 문체 특징, 여러 모델의 likelihood 등으로부터 추정합니다.
• 어느 쪽도 글의 출처를 직접적으로 증명하는 것은 아닙니다.
• 짧은 문장, 번역, 패러프레이징, 도메인 차이, 언어 차이에 따라 성능이 달라집니다.
• 위양성(False positive)은 교육, 채용, 심사 등에서 현실적인 불이익으로 이어질 수 있습니다.
• Accuracy나 AUROC 수치뿐만 아니라 데이터 분포와 FPR(False Positive Rate)을 확인해야 합니다.
• 탐지 점수 단독으로는 작성자나 부정행위를 단정해서는 안 됩니다.

AI가 작성한 글을 기술적으로 구별하는 방법은 존재합니다. 하지만 그것은 '이 글의 작성자는 AI다'라는 감정이 아니라, '특정 조건에서 AI 생성문의 분포와 유사하다'라는 확률적인 추정입니다.

글의 출처를 진정으로 다루고 싶다면, 탐지기를 똑똑하게 만드는 것만으로는 충분하지 않습니다. 생성과 편집의 이력을 남기고, 작성자가 공개하며, 제3자가 검증할 수 있는 시스템이 필요합니다.

그리고 탐지기가 측정할 수 없는 것도 있습니다. 왜 그 글을 썼는지. 무엇을 잃으면서 말을 했는지. 그러한 '동기의 중력(gravity of motive)'까지도 perplexity 수치만으로는 복원할 수 없습니다.

참고 자료

• Synthetic Text Detection in the Age of Large Language Models: Watermark vs. Automatic Detection
• A Survey on LLM-Generated Text Detection: Necessity, Methods, and Future Directions
• Detecting AI-Generated Text: Factors Influencing Detectability with Current Methods
• GPT detectors are biased against non-native English writers
• The pitfalls of AI detection in academic writing
• Spotlights and Blindspots: Evaluating Machine-Generated Text Detection
• A Survey on LLM Watermarking: Theory and Deployment

토론