이란의 공작, ChatGPT로 만든 가짜 기사를 실제 미국 매체에 게재

OpenAI는 Hoskins의 글이 이란에 있는 이용자들이 ChatGPT로 생성한 것이며 여론 공작의 일부라고 밝혔음. 가짜 계정과 허위 기고문 자체는 새로운 일이 아님.
새로운 것은 글을 대신 써주면서 모든 내용을 기록하고 판단하며, 자체 결정에 따라 당국과 언론에 알리는 극도로 중앙화된 도구임.

그것도 새로운 변화지만, 더 구조적으로 중요한 변화는 공작 비용의 급격한 하락임. 모든 LLM이 위에서 묘사한 방식으로 작동하는 것도 아님.
HN의 자칭 식견 있는 사람들이 비용과 대폭적인 비용 절감의 효과를 이토록 이해하지 못한다는 게 믿기 어려움.

크게 보면 ChatGPT가 RadioFree*의 시론을 받아들이는 것과 다르지 않음.

자체 호스팅 선택지가 이렇게 많은데, 세계 모든 정부가 어느 정도는 이런 일을 하고 있지 않다고 믿을 이유가 없음. 진짜 문제는 허술한 검증을 너무 쉽게 용인하는 태도일 수 있음.

검증의 문제라고 보지는 않음. 언론과 라디오가 통제되던 시절에도 밀어붙이는 서사는 있었고, 대부분이 다른 관점을 몰랐을 뿐임. 지금은 대안적 관점을 더 잘 알게 됐으므로, 하나의 공인된 진실을 강요하기보다 모두가 자기 버전의 진실을 내세운다고 전제하고 비판적으로 검토해야 함.
내가 이해하는 프랑스는 모든 언론을 적대적이라고 가정하고 비판적으로 보는 방식임. 반면 미국은 오랫동안 신뢰받는 진실의 중재자가 있었기에, 그 신뢰가 약해지자 모든 매체를 비판적으로 검토하기보다는 다른 중재자를 찾으려 하는 듯함.

드디어 “ChatGPT가 무언가를 했다”가 아니라 실제로 운용한 주체에 초점을 맞춘 기사임. 다른 기사에서도 이런 표현을 유지할 수 있을까? 그럴 수 없다면 일관성을 위해 여기서도 ChatGPT가 가짜 기사를 심었다고 해야 하지 않을까?

언론이 어떻게 돌아가는지 내가 잘 모르는 듯함. 그럴듯한 기고문을 써서 군소 매체에 보내면, 그 매체가 뉴스 사이트와 신문에 넘겨주는 구조인가? 원고료도 받는가? 무료로 제공하는 것도 일반적이고 의심받지 않는 일인가?

오래전부터 있던 일이고, 홍보 부서는 늘 기사를 심고 있음. 협조할 기자나 필자 몇 명만 있으면 첫 기사를 내고 확산을 시작할 수 있음.
“submarining”이라고 불렀던 것 같지만 찾아보니 다른 개념인 듯함. Joel Spolsky가 쓴 글도 기억나는데 지금은 찾지 못하겠음.

Ryan Holiday의 『Trust me, I'm lying』 을 읽어볼 만함. 기억이 맞다면 American Apparel 등에서 일할 때 이를 마케팅 전략으로 활용한 과정과, 정치권에서도 얼마나 쉽고 흔하게 벌어지는지 다룸.
거의 15년 된 책이고, 출간 당시에도 이미 이전 경력에서 했던 일을 다루고 있었다는 점을 감안해야 함.

군소 매체만 가능한 게 아님. 돈만 맞춰주면 유명 잡지에도 가능하며, 여기 사람들이 읽는 잡지도 마찬가지임.

저널리즘은 수십 년째 제 기능을 못 하고 있음. 요즘은 연줄로 자리 잡은 이들의 감정 일기, 보조금 빼먹기, 클릭 장사뿐임.

일반적인 신문에 실린 게 아니라 Daily Kos, Middle East Monitor처럼 뭐든 받아주는 주변부 매체와 플로리다의 작은 주간지 Port St. Joe Star에 실린 것임. 그 밖에는 Medium과 소셜미디어뿐임.
다만 그럴듯한 기고문을 써서 자기 쪽 공작원이나 돈을 받은 정치인에게 WaPo·NYT 같은 매체에 싣게 할 수는 있음. 또는 Wired, International Business Times, Forbes의 잘 모르는 필자들에게 정보를 흘리거나 돈을 줘서 비슷한 기사를 쓰게 할 수도 있음.
이후 정치인들이 의회에서 그 기사들을 인용하고 WaPo·NYT에 “왜 이 사건을 은폐하느냐”는 항의 서한을 보내게 하면, 그 매체들이 직접 선전 기사를 쓰게 됨.

나는 어떤 주장이든 가장 설득력 있는 형태로 구성할 수 있는 LLM을 선호함. 대체로 악을 외면하기보다는 직접 상대하는 편이 효과적이라고 봄. 그런 목적이라면 이런 식으로 심어진 기사도 쓸모가 있음. 이란 정부에 적대적인 입장에서 하는 말임.

매체 소유주가 자기 서사에 맞는 글을 골라 싣는 게 아니라, 투고 내용을 비판하고 토론하는 데 관심이 있다고 전제하는 듯함.

일부 사람들은 언제나 속일 수 있음. 그걸 막으려고 검열을 시도할 가치는 없음.

믿음과 인간의 뇌가 작동하는 방식을 고려해야 함. 종교처럼 이념에 고착되면 증거나 논증의 질만으로 생각이 바뀌지 않음. 자연의 질서는 고통에 비교적 무심하고, 세상이 계속 굴러가도록 인간도 어느 정도 이렇게 설계되어 있음.
특정 집단에 허위 정보를 쏟아부으면 반박을 시작할 즈음에는 이미 믿음이 뿌리내리고 행동도 진행 중일 수 있음. 최선의 대응은 모르겠지만, 그냥 내버려두고 논증만 상대하는 전략으로 이길 수 있다고 보지는 않음. 그렇다고 다른 대안들이 더 마음에 드는 것도 아님.

LLM이 타당한 논거를 만들어내고 그것이 출판되는 것이라면, 나도 비슷하게 받아들임.

뉴스는 아주 오래전부터 정보기관의 도구였음. CIA의 공식 Operation Mockingbird는 1940년대 말에 시작됐는데, 이제 AI가 끼어들었다고 뉴스가 되는가? 어느 것도 신뢰할 수 없음.

뉴스 중 얼마나 많은 부분이 미국 정보기관의 지시대로 나오는지 상상만 할 수 있음. 소셜미디어도 마찬가지임. Elgin 공군기지가 Reddit에 가장 중독된 도시로 드러났던 일을 기억하는가?

타당한 관점이 여럿 있겠지만, 내게는 가중치 공개 모델의 필요성을 보여주는 일임.
OpenAI는 공작에 사용된 계정들을 차단했다고 밝혔음. 주체와 무관하게 항상 똑같이 차단한다는 보장이 있다면 환영하겠지만, 그런지는 모르겠음.

가중치 공개가 국가 차원에서 다른 나라의 공론장에 은밀한 선전을 주입하는 문제를 어떻게 해결하는가?

적대국의 가짜 뉴스 생성은 AI 이전부터 있던 일인데, AI를 쓴다고 해서 왜 뉴스가 되는가?

여전히 드러내고 비판해야 하는 일이기 때문에 뉴스임. 모두가 AI 생성 콘텐츠를 알아보는 것은 아니며, 설령 모두 알아본다고 해도 이를 공개적으로 짚는 데는 사회적 가치가 있음.

왜 반드시 적대국이어야 하는가? 국가일 필요는 있는가? 어느 도시의 시장이나 패스트푸드 프랜차이즈의 홍보팀, SBF와 다자간 연애 관계에 있던 사람일 수도 있지 않은가?
연방정부와 갈등하는 나라를 겨냥할 때만 이런 기사를 보게 된다는 사실이, 기사 내용보다 기사 자체의 진실성과 의도를 더 의심하게 함.

전형적인 공포·불확실성·의심 조장(FUD) 임. 최근 읽은 기사 중 무엇이 이란의 선전물이었는지 의심하게 하고, 앞으로 이란에 유리해 보이는 기사에도 불신을 심도록 설계된 것임.
이런 불안 조장은 늘 선거철 전후에 늘어나는 듯함.