IdeaLens: 장문 작성물에서 AI 아이디어 탐지

최신 AI 감지기들은 누가 단어를 썼는지 식별하지만, 등장하는 AI 사용 정책들은 점점 더 다른 질문에 달려 있습니다. 즉, 누가 그 아이디어를 생각해냈는가입니다. 우리는 IdeaLens를 소개합니다. 이 감지기는 문서의 단어가 누구에 의해 쓰였는지와 관계없이, 해당 문서의 아이디어가 인간에게서 왔는지 아니면 AI에게서 왔는지(아이디어 출처, idea provenance)를 식별합니다. IdeaLens를 산문이 아닌 아이디어에 초점을 맞추기 위해, 우리는 문서를 개요로 표현합니다. 개요란 담화 역할과 내용에 대한 간결하게 의역된 설명을 쌍으로 나열한 항목들의 목록이며, 원본 텍스트와의 단어 수준 중복을 최소화합니다. 우리는 Pangram이라는 산문 출처 감지기(prose provenance detector)의 실버 레이블을 사용하여 1M FineWeb 문서로 IdeaLens를 훈련시켰습니다. 개요는 표면적인 정보가 크게 제거되었기 때문에, 레이블은 주로 아이디어를 통해 맞춰져야 합니다. 통제된 연구에서, 모델이 점점 더 상세한 인간 계획에 따라 글을 쓸 때, IdeaLens의 AI 플래그율은 95%에서 7%로 떨어지는 반면, Pangram 4는 여전히 92%를 플래그합니다. 반대로, AI가 생성한 계획에 따라 인간 작가들이 작성한 50개의 새로운 데이터셋에서, IdeaLens는 이 이야기들의 68%를 AI로 플래그하는 반면, Pangram 4는 8%만을 플래그했습니다. 기존의 19개 감지 벤치마크 전체 세트에서, 우리는 IdeaLens가 낮은 오탐률(false positive rates)에서도 강력한 탐지율을 유지함을 보여주며, 이는 아이디어 자체가 강력한 판별 신호를 제공하며 그 성능이 도메인, 형식, 언어 전반에 걸쳐 유지됨을 시사합니다. 마지막으로, 우리는 인간과 AI의 아이디어 구상 간 체계적인 차이를 특성화하기 위해 IdeaLens를 이용한 90K개의 예측을 검토했습니다. 우리는 아이디어 출처 탐지(idea provenance detection)에 대한 향후 연구를 촉진하기 위해 우리의 모델과 레이블링된 데이터셋을 공개합니다.