Feature-Augmented Transformers for Robust AI-Text Detection Across Domains and
요약
본 논문은 다양한 도메인과 생성 파이프라인에서 발생하는 AI 생성 텍스트의 분포 이동(distribution shift)에 강건한 텍스트 검출기 개발을 목표로 합니다. 연구진은 트랜스포머 기반 모델에 어텐션 기반 언어적 특징 융합(attention-based linguistic feature fusion)을 추가하여 특징 증강(feature augmentation) 기법을 적용했습니다. 그 결과, 기존의 강력한 단일 임계값 검출기가 분포 이동 환경에서 취약성을 보였으나, 제안된 특징 증강 모델은 다중 도메인 및 생성기 벤치마크(M4)에서 높은 균형 잡힌 정확도를 달성하며 전이 성능을 크게 개선함을 입증했습니다.
핵심 포인트
- AI 생성 텍스트 검출기는 다양한 도메인과 이질적인 생성 파이프라인으로 인한 분포 이동에 대한 강건성이 핵심 요구사항이다.
- 기존 트랜스포머 모델은 인-도메인 성능은 높으나, 다중 도메인 환경에서 성능 저하 및 모델 의존성을 보인다.
- 어텐션 기반 언어적 특징 융합을 통한 특징 증강(Feature Augmentation)이 분포 이동 하의 전이 학습 성능을 크게 개선한다.
- 제안된 방법론은 고정 임계값 프로토콜을 사용하여 실제 검출기의 견고성을 현실적으로 평가하며, 기존 모델 대비 우수한 성능 향상을 보여준다.
현재는 다양한 도메인과 이질적인 생성 파이프라인을 통해 대규모로 AI 생성 텍스트가 생산되고 있어, 분포 이동에 대한 견고성이 supervision된 이진 검출기의 핵심 요구사항이 되었습니다. 우리는 HC3 PLUS 에서 트랜스포머 기반 검출기를 훈련하고, held-out validation 에 대해 균형 잡힌 정확도를 최대화하는 단일 결정 임계값을 보정합니다; 이 임계值是 모든 downstream test distribution 에 고정되어 유지되며, 이는 분포 이동 하에서 도메인과 생성기 의존적인 오류 비대칭성을 드러냅니다. 우리는 in-domain 에서 HC3 PLUS 를 평가하고, multi-domain, multi-generator M4 벤치마크에 대한 cross-dataset transfer 하에서 평가하며, 외부 AI-Text-Detection-Pile 에서 평가합니다. 기본 모델은 near-ceiling 수준의 in-domain 성능 (최대 99.5% 균형 잡힌 정확도) 을 달성하지만, 분포 이동 하의 성능은 취약하고 강하게 모델 의존적입니다. attention-based linguistic feature fusion 를 통한 feature augmentation 은 transfer 를 개선하며, 우리의 가장 좋은 모델 (DeBERTa-v3-base+FeatAttn) 은 M4 에서 85.9% 균형 잡힌 정확도를 달성합니다. multi-seed 실험은 높은 안정성을 확인했습니다. 동일한 fixed-threshold 프로토콜 하에서, 우리는 강력한 zero-shot baseline 을 최대 +7.22 포인트로 상회했습니다. 카테고리 수준의 ablation 은 분포 이동 하의 견고성에 readability 와 vocabulary 기능이 가장 크게 기여함을 보여줍니다. 종합적으로, 이러한 결과는 feature augmentation 과 현대적인 DeBERTa backbone 이 이전 BERT/RoBERTa 모델보다 현저히 우수함을 보여주며, fixed-threshold 프로토콜은 실제 검출기의 견고성을 보다 현실적이고 정보 있게 평가함을 제공합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기