노벨상 수상 작가가 40년에 걸쳐 구축한 문체와 AI의 성능 비교

노벨상 수상 작가는 자신만의 목소리를 구축하기 위해 40년을 보냅니다. 문장의 리듬, 장면을 여는 방식, 단어 하나에 담는 무게감까지 말이죠. 40년 동안의 거절 편지, 퇴고, 그리고 문학이 된 초안들이 모여 만들어진 결과물입니다.

연구진은 해당 작가가 출간한 모든 책을 가져와 ChatGPT에 입력한 뒤, 그 작가의 목소리로 글을 써달라고 요청했습니다.

그 후 AI가 작성한 버전과 인간이 작성한 버전을 MFA(문예창작 석사) 작가들과 일반 독자들에게 보여주었습니다. 라벨이 없는 블라인드 테스트(Blind test)였습니다. 오직 글만 보고 판단하게 했습니다.

독자들은 AI를 선택했습니다.

이 연구는 Stony Brook University, Columbia Law School, 그리고 University of Michigan에서 진행되었습니다. 사전 등록된 연구로, 28명의 MFA 교육을 받은 전문가 독자와 516명의 일반 독자가 참여했습니다. 10,920건의 블라인드 쌍체 비교 판단(blind pairwise judgments)이 이루어졌습니다. 50명의 국제적 명성을 가진 작가, Han Kang(한강)과 Annie Ernaux를 포함한 8명의 노벨상 수상자, 8명의 Pulitzer상 수상자, 그리고 Booker상 수상자들이 포함되었습니다.

ChatGPT에게 단순히 특정 작가처럼 써달라고 프롬프트(Prompt)를 입력했을 때, 전문가들은 이를 알아차릴 수 있었습니다. 전문가가 인간 대신 AI를 선택할 확률은 문체적 충실도(stylistic fidelity) 측면에서 0.16, 글쓰기 품질(writing quality) 측면에서 0.13에 불과했습니다. AI는 AI처럼 들렸습니다.

그다음 연구진은 현존하는 30명 작가의 전집이 담긴 ePub 파일을 구매했습니다. 구할 수 있는 모든 소설과 모든 선집을 모았습니다. 그리고 각 작가의 카탈로그를 바탕으로 ChatGPT를 개별적으로 미세 조정(Fine-tuning)했습니다.

동일한 블라인드 테스트와 동일한 전문가 독자들을 대상으로 진행했습니다.

결과는 완전히 뒤집혔습니다.

전문가 독자들은 문체적 충실도 면에서 미세 조정된 AI를 선호했습니다. 오즈비(Odds ratio)는 8.16이었으며, P값은 $10^{-12}$ 미만이었습니다. 글쓰기 품질 면에서는 1.87이었습니다. 일반 독자들 또한 같은 방향으로 움직였습니다.

AI는 단순히 작가를 흉내 내는 수준을 넘어섰습니다. 독자들은 작가 본인보다 AI를 더 선호했습니다. 심지어 작가 자신의 책을 사용하여 말이죠.

이어 연구진은 결과물을 최첨단 AI 탐지기인 Pangram을 통해 검사했습니다. 단순 프롬프트를 사용한 AI는 97%의 확률로 적발되었습니다. 하지만 미세 조정된 AI는 단 3%의 확률로만 적발되었습니다.

탐지기가 무용지물이 된 것입니다.

한 명의 작가를 위해 미세 조정(Fine-tuning) 및 생성하는 데 드는 비용의 중앙값은 81달러였습니다. 논문은 이를 일반적인 전문 작가 보상과 비교했을 때 99.7% 감소한 수치라고 명시합니다.

연구진은 Bartz v. Anthropic 및 Kadrey v. Meta 사건에서 법원이 검토 중인 질문에 답하기 위해 연구를 시작했습니다. 저작권이 있는 도서로 AI를 학습시키는 것이 해당 도서의 시장에 해를 끼치는가 하는 점입니다.

논문은 이를 단 한 문장으로 답합니다.

"따라서 작가 특화 미세 조정(Author-specific fine-tuning)은 독자들이 숙련된 인간의 글쓰기보다 선호하는, 비축어적(non-verbatim) AI 글쓰기를 가능하게 합니다."

두 번째 저자는 Columbia Law School의 교수인 Jane C. Ginsburg입니다. 그녀는 이를 저작권의 네 번째 공정 이용(Fair-use) 요소, 즉 원저작물의 시장에 미치는 영향에 대한 증거로 규정합니다.

작가가 출판하는 모든 책은, 작가 없이도 다음 책을 써 내려갈 존재를 학습시킵니다.
[IMG:1]