7월 20일, unslop 서비스의 저자는 자신의 AI 탐지기가 최근 분기 arXiv 샘플의 약 32%를 기계 작성(machine-written)과 유사한 것으로 표시했다고 보고했습니다. 이 수치는 마치 작업물의 3분의 1을 즉시 "AI가 작성한 것"으로 분류할 수 있는 것처럼 들립니다. 하지만 분석 방법론 자체는 이러한 결론을 내리는 것을 금지합니다.

편집자, 교수 또는 관리자 앞에는 신경망(neural networks)에 대한 추상적인 질문이 놓여 있는 것이 아닙니다. 결정은 매우 구체적입니다. 높은 점수(score)를 저자에 대한 제재 근거로 삼을 것인가, 아니면 텍스트 집합 내에서 글쓰기 스타일이 변화하고 있다는 신호로 사용할 것인가 하는 점입니다. 두 번째 경우의 경우 측정은 의미가 있습니다. 첫 번째 경우의 경우 측정은 빠르게 잘못된 것이 됩니다.

정확히 무엇을 측정했는가

분석은 arXiv의 첫 번째 버전 PDF 12,750개의 전체 텍스트를 대상으로 했습니다. 샘플에는 10개의 과학 분야가 포함되었습니다: 2023년 1월부터 2026년 7월까지 매월 분야당 약 25개의 작업물입니다. 비교를 위해 LLM이 널리 보급되기 전인 2021~2022년의 8개 대조 월(control months)을 추가했습니다.

첫 번째 버전을 선택한 것은 중요합니다. 나중에 수정된 내용은 초기 기간으로 날짜가 지정된 문서에 포함될 위험이 적기 때문입니다. 하지만 이러한 세심함조차 결과를 AI 사용에 대한 전수 조사로 바꾸지는 않습니다. 탐지기는 모델이 기계적 스타일이라고 간주하는 것과 설정된 임계값(threshold) 이상의 텍스트 유사성을 포착합니다.

역사적 대조군(historical control)에서 시스템은 인간이 작성한 과학 텍스트의 99.6%를 통과시켰습니다. 이는 저자가 주장하는 0.4%의 오탐률(false positive rate)을 제공합니다. 또한 저자는 AI 학술 텍스트의 복구율을 85%로 평가했습니다; 이 수치 주변에는 95% bootstrap 신뢰 구간(confidence intervals)이 제공됩니다.

이는 도시의 온도 변화를 측정하는 좋은 온도계와 같습니다. 평균 온도가 상승하고 있다는 것을 보여줄 수는 있습니다. 하지만 특정 집에서 누가 왜 난방을 켰는지는 말해주지 않습니다.

32%는 어디에서 오는가

이 구성에서 표시된 논문의 비율은 지난 전체 분기에 약 32%에 달했으며, 2026년 초에는 약 39%에 이르렀습니다. 분야 간의 격차는 매우 큽니다. 컴퓨터 과학 (Computer Science)의 경우 수치가 약 65%인 반면, 수학 (Mathematics)의 경우 약 0.7%입니다.

바로 이 지점에서 가장 매혹적인 결론이 가장 취약한 결론이 됩니다. 65%를 "65%의 논문이 완전히 생성되었다"라고 읽어서도 안 되며, 0.7%를 수학자들에게 AI가 거의 존재하지 않는다는 증거로 읽어서도 안 됩니다. 수학적 산문은 종종 성기게 작성되고 공식 (Formula)이 밀집되어 있어, 탐지기 (Detector)의 학습 분포 (Training distribution) 밖에 있을 수 있습니다. 낮은 점수 (Score)는 그러한 관행의 낮은 보급률을 의미할 수도 있고, 측정기의 사각지대 (Blind spot)를 의미할 수도 있습니다.

탐지기는 폐쇄형 모델 (Closed models), 프롬프트 (Prompts), 그리고 텍스트 작업 방식의 실제 혼합 상태를 알지 못합니다. 탐지기는 가벼운 편집 (Editing)과 완전한 생성 (Generation)을 구분하지 못합니다. 따라서 "표절 방지 프로그램이 AI를 어떻게 식별하는가"라는 대중적인 질문에 대한 답변은 기대보다 겸손해야 합니다. 그것은 텍스트의 생성 이력을 확정하는 것이 아니라, 그 스타일을 학습된 패턴 (Pattern)과 대조하는 것뿐입니다.

Схема: контрольная выборка, порог и измерение тренда в arXiv

전환: 강력한 결과가 취약한 비난이 되는 지점

역사적 대조 (Historical control)와 명확한 임계값 (Threshold)은 "표절 방지 프로그램 내의 AI 콘텐츠"에 관한 많은 대화보다 이 작업을 더 유용하게 만듭니다. 하지만 동일한 보정 (Calibration)이 개별 텍스트에 자동으로 적용되지는 않습니다.

대조군 (Control population)에서 오탐률 (False positive rate)이 낮더라도, 단 한 명의 저자, 하나의 장르, 하나의 문서에 대한 질문에는 답할 수 없습니다. 특정 논문에 따라 산문의 양, 학문 분야, 문장 스타일, 공식의 비율, 그리고 편집 이력이 변하기 때문입니다. 그리고 경계선에 있는 사례(Borderline cases)에서는 화면에 표시된 멋진 퍼센트(%)보다 바로 이러한 차이점들이 더 중요합니다.

분석의 저자는 제한 사항을 명확하게 공식화합니다. 플래그(flag)는 특정 개인의 저작권이 아니라, 텍스트가 기계적 스타일(machine style)과 유사함을 나타냅니다. 이는 페이지 하단에 적힌 법적 면책 조항이 아니라, 결과 적용의 핵심 규칙입니다.

가장 강력한 반론

이 분석은 해당 분석가가 자신의 탐지기(detector) 제품의 제작자라는 점 때문에 비판적으로 다루어져야 합니다. 이는 독립적인 동료 검토(peer-reviewed) 연구가 아니라 방법론적인 포스트(methodological post)입니다. 샘플(sample)과 대조군(controls)에 대한 설명의 투명성은 유익하지만, 이해 상충(conflict of interest)을 상쇄하거나 수치를 학술적 합의(academic consensus)로 만들지는 않습니다.

해당 게시물에 대한 기술적 논의는 눈에 띄었습니다. Hacker News에서 이 주제는 235 포인트와 161개의 댓글을 기록했습니다. 참여자들은 오래된 텍스트, 하이브리드 글쓰기(hybrid writing), 그리고 오탐(false positives)을 검증했습니다. 이러한 검증은 어디에서 문제를 찾아야 하는지 잘 보여주지만, 새로운 대표적 타당성 검증(representative validation)이라기보다는 개별적인 사례들에 머물러 있습니다.

그렇다고 해서 이 측정이 무용하다는 뜻은 아닙니다. 다른 결론이 도출됩니다. 즉, 이 측정의 힘은 연구자가 측정한 것 이상을 약속하지 않는 바로 그 지점에 존재합니다.

검증을 위한 실무 규칙

AI 탐지기 검증이 필요하다면, 판단을 두 가지 수준으로 나누십시오.

1. 대량의 텍스트에 대해서는 점수(score)를 트렌드 지표로 사용하십시오. 역사적 대조군(control)이 있는지, 임계값(threshold)이 어떻게 설정되었는지, 어떤 장르와 분야가 포함되었는지, 그리고 불확실성 구간(intervals of uncertainty)이 발표되었는지 확인하십시오.

2. 개별 작업에 대해서는 점수를 증거로 삼지 마십시오. 높은 플래그는 문맥 검토를 시작하는 신호여야 하며, 검토를 종결짓는 수단이 되어서는 안 됩니다.

3. 결과에 따른 조치가 필요한 경우에는 과정의 흔적을 찾으십시오: 초안(drafts), 편집 이력, 주석, 합의된 도구 사용 규칙, 그리고 저자와의 대화 등입니다. 이것들이 스타일을 통한 추측이 아닌, 기원의 증거입니다.

4. 탐지기가 해당 분야의 텍스트에 대해 유효함이 입증될 때까지 학문 분야를 문자 그대로 비교하지 마십시오. 특히 짧거나, 공식적(formulaic)이거나, 장르적으로 전형적이지 않은 산문은 해석에 각별히 주의해야 합니다.

이러한 프로토콜은 "AI 표절 검사를 어떻게 통과하는가"라는 요청에 답하는 것이 아니며, 그렇게 해서도 안 됩니다. 이는 목표를 검사 우회에서, 무작위적인 스타일이 잘못된 처벌의 근거가 되지 않는 정직한 절차로 전환하는 것입니다.

탐지기(detector)가 텍스트의 표면만 보고 텍스트의 이력을 추측할 뿐인 곳에서, provod.ai는 사후 인간 검토를 위해 생성 출처(provenance)와 편집 이력을 보여줄 수 있습니다. 이것이 규칙과 전문성을 대체하는 것은 아니지만, 대화의 중심을 확률적인 라벨링에서 관찰 가능한 프로세스로 옮겨줍니다.

Развилка между детекторным сигналом и проверкой истории создания

provod.ai — 품질, 속도 및 비용에 따라 RAG를 최적화하세요

검색(Search), 재순위화(Re-ranking), 컨텍스트 분석(Context analysis) 및 최종 답변(Final answer)을 반드시 동일한 모델이 수행할 필요는 없습니다: 각 단계에 가장 적합한 도구를 선택하고 전체 통합을 유지하십시오.

하나의 카탈로그에서 텍스트 및 미디어용 최신 모델을 확인하세요: OpenAI의 GPT, Anthropic의 Claude, Google의 Gemini, xAI의 Grok, DeepSeek, Qwen, GLM, Kimi 및 MiniMax; 이미지의 경우 Nano Banana 2 Pro 및 GPT Image; 비디오의 경우 Seedance, Kling, Veo 및 Google Omni의 최신 버전이 제공됩니다. 또한 추론(reasoning), 검색, 문서, 임베딩(embeddings), 음악 및 오디오를 위한 모델도 사용 가능합니다.

가격 노이즈 없이 파이프라인의 경제성을 계산하세요: 각 모델은 provod.ai의 자체 마진 없이 공식 제공업체와 1:1로 동일하게 요금이 부과됩니다.

RAG 모델 구성을 설정하세요: 등록 양식 · 모델 가격 · 152-FZ에 따른 데이터 보호 · provod.ai 메인 페이지

만약 출판 허가, 평가 또는 저자의 평판이 걸려 있다면, 빠른 확률적 점수 (probabilistic score)를 받아들이는 것과 생성 이력을 확인하고 인간이 직접 분석하는 데 시간을 쓰는 것 중 어느 것이 더 합리적일까요?