다중 입도(Multi-Granularity) AI-텍스트 탐지를 위한 작업 가이드 기반 점진적 인간-AI 텍스트 변환 벤치마크

AI 글쓰기 보조 도구가 실제 초안 작성 및 수정 워크플로우에 점점 더 통합됨에 따라, 많은 문서가 더 이상 순수하게 인간이 작성했거나 AI가 생성한 것이 아니라, 점진적인 인간-AI 공동 편집(co-editing)의 결과물로 나타나고 있습니다. 그러나 기존의 AI-텍스트 탐지(AI-text detection) 벤치마크는 주로 최종 결과물에 집중되어 있으며, 수정 과정 전반에 걸쳐 AI 저자성 신호(AI authorship signals)가 어떻게 나타나고, 축적되거나, 사라지는지에 대한 이해는 제한적입니다. 우리는 문서, 문장, 토큰(token), 그리고 스팬(span) 입도(granularity)에 걸쳐 점진적인 인간-to-AI 텍스트 변환을 연구하기 위한 작업 가이드 기반 벤치마크인 OpAI-Bench를 소개합니다. 인간이 작성한 문서에서 시작하여, OpAI-Bench는 미리 정의된 AI 커버리지 수준과 5가지 대표적인 AI 편집 작업(edit operations) 하에서 각 샘플에 대해 9개의 순차적으로 수정된 버전을 구축하며, 4개의 도메인을 다루는 동시에 다중 입도에서 완전한 저자 출처(authorship provenance)를 보존합니다. 이 벤치마크는 8개의 문서 수준(document-level) 탐지기, 7개의 문장 수준(sentence-level) 탐지기, 그리고 2개의 미세한 토큰/스팬 수준(token/span-level) 탐지기를 통한 종합적인 평가를 지원합니다. 실험 결과, AI-텍스트 탐지 가능성(detectability)은 AI가 편집한 콘텐츠의 비율뿐만 아니라 편집 작업, 도메인, 그리고 누적된 수정 이력에 의해서도 결정된다는 것을 밝혀냈습니다. 흥미롭게도, 우리는 혼합 저자성(mixed-authorship)을 가진 중간 버전들이 완전한 인간 작성본이나 AI에 의해 심하게 편집된 최종본보다 탐지하기 어려운 경우가 많다는 점을 발견했으며, 이는 기존 벤치마크들이 놓쳤던 비단조적(non-monotonic) 탐지 패턴을 드러냅니다. OpAI-Bench는 현실적인 점진적 편집 시나리오 하에서 AI 보조 글쓰기가 언제, 어떻게 탐지 가능해지는지를 분석할 수 있는 통제된 테스트베드를 제공합니다. 우리의 코드와 벤치마크는 https://github.com/VILA-Lab/OpAI-Bench 에서 확인할 수 있습니다.