Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
AI 텍스트 탐지기의 성능을 평가하기 위해 인간의 텍스트를 LLM이 재작성한 시나리오를 포함한 새로운 벤치마크 ARB를 제안합니다. 연구 결과, 기존 탐지기들은 LLM이 재작성한 인간 텍스트를 탐지하는 데 매우 취약함을 확인했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기표준적인 AI 텍스트 탐지 (AI-text detection) 벤치마크는 사람이 작성한 텍스트와 대규모 언어 모델 (LLMs)에 의해 직접 생성된 텍스트를 비교합니다. 이전 연구들은 재작성 (rewriting) 및 패러프레이징 (paraphrasing)이 탐지기 성능을 저하시킬 수 있음을 보여주었지만, 이러한 전통적인 벤치마크에서 측정된 성능이 사람이 작성한 콘텐츠를 LLM이 재작성했을 때의 탐지기 동작을 예측할 수 있는지는 여전히 불분명합니다. 이러한 격차를 해소하기 위해, 우리는 1,800개의 인간 소스 텍스트 (XSum, WritingPrompts, OpenWebText에서 각각 600개씩)와 4개의 오픈 웨이트 (open-weight) 생성기 (Llama-3.2-3B, Qwen2.5-7B, Mistral-7B, Gemma-2-9B)로 구축된 Authorship-Rewriting Benchmark (ARB)를 소개합니다. 각 소스 항목은 네 가지 매칭된 변형을 생성합니다: 사람이 작성한 것 (HUMAN), 직접적인 LLM 생성 (Free-LLM), LLM이 재작성한 인간 텍스트 (H2L), 그리고 동일한 생성기가 재작성한 LLM 텍스트 (LLM2L). 우리는 엄격한 1% 허위 양성 작동 지점 (TPR@1%FPR)에서 5개의 탐지기 (FastDetectGPT, Binoculars-falcon-7b, RADAR, BERT-Defense, RoBERTa-Defense)를 평가했습니다. FastDetectGPT와 Binoculars-falcon-7b는 직접적인 LLM 텍스트의 91.2%와 93.5%를 탐지했지만, LLM이 재작성한 인간 텍스트에 대해서는 각각 30.8%와 15.1%만을 탐지하여 60-78 퍼센트 포인트 하락했습니다. 동일한 탐지기들은 LLM 텍스트가 동일한 모델에 의해 재작성되었을 때 78.3%와 83.0%의 재현율 (recall)을 유지하며, 10-13 포인트라는 훨씬 적은 하락을 보였습니다. RADAR 또한 동일한 패턴 (66.8%에서 12.2%로)을 따랐으나, BERT-Defense와 RoBERTa-Defense는 모든 영역에서 3% 미만의 재현율을 유지했습니다. 이러한 결과는 전통적인 인간 대 LLM (human-vs-LLM) 벤치마크에서 측정된 탐지기 성능이 LLM에 의해 수정된 인간 작성 텍스트로 전이되지 않음을 보여줍니다. 이는 동일한 탐지기들이 LLM 전용 재작성에는 대체로 견고하게 유지됨에도 불구하고 나타나는 현상입니다.