베이스 모델은 AI 탐지기에게 인간처럼 보인다

AI가 생성한 텍스트가 현실 세계에 대규모로 유입됨에 따라, 기관들은 특히 교육 및 학술적 무결성 (academic-integrity) 워크플로우에서 상용 AI 텍스트 탐지기 (AI-text detectors)를 점점 더 많이 사용하고 있습니다. 우리는 이러한 시스템에 대해 놀라운 실증적 발견을 보고합니다. GPTZero와 Pangram으로 평가했을 때, 베이스 모델 (base models)에서 생성된 텍스트는 종종 압도적으로 인간이 작성한 것으로 판단되는 반면, 지시어 튜닝 (instruction-tuned) 모델에서 생성된 텍스트는 그렇지 않았습니다. 이러한 관찰을 바탕으로, 우리는 반복적 패러프레이징을 통한 인간화 (Humanization by Iterative Paraphrasing, HIP)를 제안합니다. 이는 베이스 모델을 패러프레이저 (paraphraser)로 최소한으로 미세 조정 (fine-tuning)하여 반복적으로 적용하는 탐지기 불가지론적 (detector-agnostic) 파이프라인입니다. 우리가 테스트한 베이스라인 (baselines)과 비교했을 때, HIP는 상용 탐지기에서 의미 보존 (semantic preservation)과 탐지 회피 (detector evasion) 사이의 더 강력한 트레이드오프 (trade-off)를 보여줍니다. 0.6B에서 70B에 이르는 모델 크기를 아우르는 Llama-3 및 Qwen-3 제품군 전반에 걸쳐, HIP는 탐지기의 인간 유사성 (human-likeness)을 일관되게 향상시킵니다. 우리의 연구 결과는 현재의 탐지기들이 기계 생성 텍스트의 불변하는 개념보다는 지시어 튜닝 (instruction tuning) 및 로컬 컨텍스트 (local context)의 인위적 흔적 (artifacts)을 추적하고 있음을 시사합니다. 이는 결과적으로 이러한 요소들을 더 명시적으로 모델링하는 탐지기 설계의 필요성을 제기합니다.