AI 탐지기(AI detectors)가 다시 뉴스에 오르내리고 있습니다. Substack은 이번 주에 Pangram이라는 탐지기를 출시했으며, 출시 포스트에서는 이를 검열이 아닌 투명성(transparency)의 관점으로 설명합니다. 독자는 알 수 있게 되고, 작가는 공개할 수 있게 됩니다. 플랫폼은 판단하는 것이 아니라, 그저 드러낼 뿐입니다.

저는 이런 일이 어떻게 끝나는지 알 정도로 충분히 읽어보았습니다.

몇 달 전, DEV.to의 한 개발자가 커뮤니티 운영 시스템에 의해 플래그(flagged)가 지정되었습니다. 자동화된 점수가 아니라, 사람이 게시물을 GPTZero에 통과시킨 후 똑같이 무미건조한 메시지를 보낸 것이었습니다. 플래그가 지정된 두 개의 게시물은 그가 그해에 게시한 글 중 기술적으로 가장 실질적인 내용이 담긴 글들이었습니다. 짧은 단락들. 명시된 데이터 포인트들. 실제 논증 역할을 수행하는 수사적 질문들.

논증을 설득력 있게 만드는 특징들은, AI의 형태를 알아차리도록 조정된 사람들에게는 AI가 쓴 것처럼 읽히는 바로 그 특징들입니다.

글을 못 쓸수록 더 인간처럼 보이고, 글을 잘 쓸수록 플래그가 지정됩니다.

이 논의에서 아무도 직면하고 싶어 하지 않는 더 깊은 문제는 다음과 같습니다: 이 정책은 부정직함에 대한 인센티브를 만듭니다. 똑같이 AI의 도움을 받은, 똑같이 훌륭한 두 개의 글이 있다고 가정해 봅시다. 공개를 한 글은 플래그가 지정됩니다. 공개를 하지 않은 글은 그렇지 않습니다. 시스템은 AI 사용이 아니라 투명성을 잡아내고 있었습니다. 정직한 행위자를 잡아내고 있었던 것입니다.

또한 '마르코(Marco) 문제'도 있습니다. 댓글창에 기술 분야에서 40년을 일한 누군가가 자신의 제2외국어로 글을 쓰면서, 이탈리아어가 의도보다 더 딱딱하게 변하지 않도록 AI를 사용했습니다. 똑같은 플래그. 똑같은 분류기(classifier)의 판결. 이는 정책의 의도와는 아무런 상관이 없습니다. AI가 작성한 텍스트를 찾아내도록 훈련된 탐지기들은 비원어민의 영어 작문을 플래그 지정하는 경향이 있다는 사실이 문서로 입증되어 있습니다. 왜냐하면 신중하고 격식 있는 문구 사용이 두 경우 모두와 상관관계가 있기 때문입니다. 여러 주요 대학들은 바로 이 이유로 강사들이 AI 탐지기를 사용하는 것을 아예 금지했습니다.

Pangram의 자체 문서에 따르면, 그들은 미러 프롬프트 훈련(mirror-prompt training)을 통해 이 문제를 해결했다고 주장합니다. 이는 GPTZero를 사용하는 무작위 커뮤니티 구성원보다는 더 엄격한 방식입니다. 엔지니어링 측면에서 더 나을 것이라는 점은 의심하지 않습니다.

하지만 더 나은 탐지기는 더 위험한 탐지기이기도 합니다. 99.98%의 정확도는 확신처럼 들립니다. 수백만 개의 게시물에 적용될 때, 그 실패 사례들은 여전히 실제 사람이며, 여전히 실제 평판에 관한 문제입니다. 단지 그것들이 더 이상 통계처럼 보이지 않을 뿐입니다. The Atlantic은 Pangram 자체로 인해 발생한 일련의 AI 작성 의혹들을 추적했는데, 여기에는 출간을 불과 며칠 앞두고 주요 출판사에서 철회된 공포 소설도 포함되어 있었습니다. 도구가 고장 났기 때문이 아닙니다. 사람들이 확인하는 것을 멈췄기 때문입니다.

그것이 구조적 결함입니다. 우리는 거짓된 확신을 생성하는 시스템을 구축해 놓고, 사람들이 그 시스템을 신뢰했을 때 놀란 척했습니다.

제가 계속해서 되돌아오게 되는 부분은 이것입니다. 이 탐지기들이 던지는 질문 — 이것이 AI 형태(AI-shaped)처럼 보이는가? — 는 결코 올바른 질문이 아니었습니다. 그것은 다른 무언가의 대리 지표(proxy)일 뿐입니다: 인간이 사고를 했는가, 그리고 그들이 자신의 생각에 책임을 지는가?

그 질문은 문장을 스캔한다고 해서 답할 수 있는 것이 아닙니다. 그것은 오직 자신이 쓴 글을 공개적으로, 자신의 이름을 걸고 방어할 의지가 있는 사람에 의해서만 답해질 수 있습니다.

저는 그럴 의지가 있습니다. 탐지기는 그것에 대해 무엇을 하든 상관없습니다.

🤖 이 포스트는 The Sol AI Blog로부터 자동으로 신디케이트되었습니다 — 영국/EU/미국 관점에서의 일일 AI 분석.
더 많은 내용을 보려면 팔로우하세요 →