AI 기반 '가짜 전면' 작전 방해

지난 2년 반 동안 우리는 위협 행위자들이 우리의 모델을 사용하여 사이버 공격, 은밀한 영향력 작전(IO), 사기 및 기타 사용 정책 위반에 이용하려 했던 많은 방식들을 보고했습니다. 우리는 이러한 보고서를 규제 기관, 업계 동료, 그리고 더 넓은 사회에 위협 행위자들이 AI를 활용하려는 방식과 우리가 보는 취약점을 밝히기 위해 발표합니다.

최근 우리는 우리의 모델을 보다 전통적인 기술 및 전술과 결합하여 정교한 '가짜 전면(false front)' 개체들을 지원하는 두 건의 IO—하나는 러시아발, 다른 하나는 이란발—를 금지했습니다. 그들은 이러한 개체들을 사용하여 지정학적, 분쟁 관련 메시지를 목표 청중에게 세탁했습니다. 이란 작전에는 일곱 명의 '언론인' 페르소나 그룹이 포함되어 있었으며, 이를 이용해 전 세계의 소규모 및 중견 온라인 매체에 장문 기사를 게재했습니다. 러시아 작전은 라틴 아메리카의 무지한 사람들을 포섭하여 현장에서 '싱크탱크(think tank)'를 운영한 것으로 보입니다.

두 작전 모두 다차원적이었으며, 목표 달성을 위해 다양한 전술을 시도했습니다. 장문 기사 외에도, 이란 작전은 주로 미국-이란 전쟁과 관련된 주제로 소셜 미디어 댓글 묶음을 생성했습니다. 러시아 작전은 '싱크탱크'를 통제하는 것 외에도 가짜 '유출된' 문서와 음성 스크립트를 만들었으며, 그중 일부는 온라인상에서 확산되는 것을 우리가 확인했습니다. 또한 두 작전 모두 내부 보고서를 작성하기 위해 AI를 대거 사용했는데(러시아 작전이 이 부분을 가장 많이 수행함); 두 경우 모두 행위자들은 운영자들의 효과를 과장하기 위해 의심스럽거나 명백히 기만적인 방법론을 사용했습니다.

이러한 작전에서 가장 눈에 띄는 점은 이들이 AI 이전 시대의 복잡한 영향력 작전(influence operations)과 유사했지만, 일부 워크플로우를 더 쉽게 만들기 위해 AI를 사용했다는 것입니다. 이란 작전이 운영한 기자 페르소나는 2016~17년 동안 다양한 서방 매체에 기고했던 러시아 군사 정보의 전면이었던 가짜 기자 “Alice Donovan”과 유사성을 보였습니다. 2020년에는 과거 러시아 인터넷 리서치 에이전시(Russian Internet Research Agency)와 관련된 개인들이 “PeaceData”라는 가짜 ‘뉴스’ 매체를 운영했는데, 이곳은 전 세계의 무지한 기자들을 동원하여 기사를 쓰게 했습니다.

또한 이러한 작전들은 잠재적 도달 범위 면에서도 이례적이었습니다. 영향력 작전(IO)을 1(가장 낮음)부터 6(가장 높음)까지 평가하는 IO Breakout Scale을 사용했을 때, 우리는 러시아 기원 작전을 카테고리 5에 속한다고 평가할 것입니다. 이는 우리가 보고를 시작한 이후 처음으로 방해한 카테고리 5 작전입니다. 이란 기원 작전은 카테고리 4에 도달했습니다. 두 작전 모두 콘텐츠(모든 것이 우리 모델에서 생성된 것은 아님)를 단순히 소셜 미디어에 게시하는 대신 주류 언론 매체에 게재하는 데 성공했습니다. 이는 지난 2년 반 동안 우리가 폭로한 30개의 은밀한 영향력 작전 전반에서 관찰된 패턴과 일치합니다. 즉, 가짜 소셜 미디어 배포에 의존하기보다는 실제 언론 매체에 콘텐츠를 게재하려고 시도하는 작전일수록 가장 높은 잠재적 도달 범위와 영향을 갖는 경향이 있습니다.

2024년 초부터 우리가 폭로한 30개 영향력 작전을 주요 배포 방식(소셜 미디어, 작전 운영 웹사이트, 외부 출판물)과 Breakout Scale 점수로 평가한 매트릭스. 여러 배포 방식을 사용한 작전(예: 웹사이트를 운영하고 소셜 미디어에서 홍보하는 경우)은 작전의 핵심을 구성했다고 판단된 방식으로 분류되었습니다.

AI는 이러한 '가짜 전면(false-front)' 작전에 더 큰 규모, 효율성, 언어적 유창성 및 편집 능력을 부여할 수 있습니다. 운영자들은 이러한 이점을 활용하여 직원이나 에디터와 같은 방심한 피해자들을 속이고, 누가 뒤에 있는지, 혹은 그들의 동기가 무엇인지 전혀 모르는 청중들 앞에서 자신들의 콘텐츠를 심을 수 있습니다. 또한 이러한 작전은 위협 행위자들이 목표 달성을 위해 가짜 페르소나(false personas)와 개체(entities)를 사용하는 복잡성과 정교함을 보여줍니다. 위협 행위자들이 이러한 노력에서 악용하는 취약점과, 그 취약점이 청중 및 도달률로 어떻게 이어질 수 있는지 이해하는 것은 조직 전반에 걸쳐 강력한 방어 체계를 유지하는 데 필수적일 것입니다.

하지만 이러한 가짜 전면 작전의 은밀한 특성은 또한 책임 있는 공개(responsible disclosure)에 특히 취약하게 만듭니다. 'Alice Donovan'과 'PeaceData' 모두 노출된 후 활동을 중단했습니다. 이것이 우리가 이러한 가짜 전면 작전을 보고하는 목표가 추가적인 연구와 방해를 용이하게 하고—작전을 지속하기 어렵게 만드는 것입니다.

러시아: 'Dark Clark' 작전

라틴 아메리카 전역에서 영향력 캠페인을 벌이는 러시아 출신 행위자들.

행위자(Actor)

우리는 러시아에서 기원한 ChatGPT 계정 클러스터를 차단했습니다. 이들은 라틴 아메리카 전역의 국가들을 목표로 하는 은밀한 영향력 작전과 관련된 다양한 작업을 위해 ChatGPT를 사용했습니다. 이러한 활동의 상당 부분은 이 지역에서 우크라이나의 평판을 훼손하는 것을 목표로 한 것으로 보였지만, 일부는 특히 아르헨티나와 볼리비아에서 현지 정치적 결과를 좌우하려는 목적을 가진 것처럼 보였습니다. 대부분의 운영자들은 러시아어로 프롬프트를 입력했으며, 스페인어로 프롬프트를 입력한 경우도 있었으나 그럼에도 불구하고 러시아에 위치한 것으로 보였습니다. 우리는 이 사례에 대한 정보를 관련 당국과 공유했습니다.

운영자들은 ChatGPT를 사용하여 세 가지 주요 작업을 수행했습니다: 활동에 대한 내부 보고서 작성(그리고 그들이 충분히 공을 가로챌 수 있는 다른 사람들의 활동에 대한 보고서), 운영 콘텐츠 생성, 그리고 라틴 아메리카의 '사회 연구 센터(Social Research Center, SRC)'라는 자칭 '연구 플랫폼'의 성과에 대한 보고서 초안 작성입니다. 이들은 'Mia Clark'라는 가짜 페르소나를 통해 SRC를 통제한 것으로 보이며, 이름에 경의를 표하여 저희는 이 작전을 'Dark Clark'라고 별명 붙였습니다. 저희가 러시아에서 모델 접근을 허용하지 않기 때문에, 그들은 VPN을 사용하여 저희 서비스에 연결했습니다.

내부 보고서에서 운영자들은 우크라이나 또는 현지 지도자들을 약화시키기 위해 라틴 아메리카 전역에 가짜 이야기를 퍼뜨렸다고 주장했습니다. 이러한 가짜 이야기 중 일부는 오픈 소스 연구원들에 의해 'Politology' 또는 'La Compania'라는 러시아 단체로 귀속되었으며, 이는 와그너 그룹(Wagner Group)의 보고된 후계자이자 러시아 올리가르히 예브게니 프리고진(Yevgeniy Prigozhin)이 설립한 다른 단체들입니다. 운영자들은 또한 Politology 및 Wagner에 대한 공개 보고서를 번역하거나 설명해달라고 요청했는데, 이는 다른 어떤 러시아 기원 네트워크에 대해 질문하는 것보다 훨씬 더 많았습니다.

이 작전은 두 가지 면에서 이례적이었습니다. 첫째, 라틴 아메리카의 개인들을 SRC가 일하도록 성공적으로 포섭한 것으로 보입니다. 러시아 운영자들의 SRC 관련 보고서는 임금 수준, 채용 및 해고와 같은 문제에 대한 결정을 언급했는데, 이는 그들이 해당 단체와 협력하기보다는 통제하고 있음을 시사합니다. 이용 가능한 증거는 라틴 아메리카의 SRC 직원들이 자신들이 러시아 그룹을 위해 일하고 있다는 사실을 알지 못했음을 나타냅니다. 최근 저희가 폭로한 다른 러시아 연계 '싱크탱크'와 달리, SRC는 포섭된 직원을 통해 대부분의 독창적인 콘텐츠를 생산한 것으로 보입니다. 이는 지난 2년 반 동안 저희가 방해했던 가장 복잡한 전면 신원(front identity) 운영 시도입니다.

둘째, 일부 오픈 소스 증거에 따르면 Dark Clark의 가짜 정보는 팩트 체크(opens in a new window)와 공식 부인(opens in a new window)을 유발할 만큼 광범위하게 확산되었으며, 이는 지난 2년간 우리가 방해했던 어떤 영향 작전보다도 높은 침투 정도를 나타냅니다. 이 작전이 페루에 심었다고 주장한 가짜 정보 중 하나는 우크라이나와 폴란드 간의 공공 긴장까지 유발했습니다.

내부 보고서

운영자들이 ChatGPT를 사용한 주요 방식은 알려지지 않은 상급자에게 제출할 내부 보고서를 초안 작성하고 업데이트하는 것이었습니다. 이 정기 보고서들은 라틴 아메리카 전역에 걸쳐 은밀한 영향 캠페인을 수행하려는 노력을 설명했습니다. 여기에는 세 가지 주요 작업 흐름이 포함되었습니다: 우크라이나를 비방하고 우크라이나군 모집을 약화시키려는 노력; 특정 국가(특히 볼리비아와 아르헨티나)의 국내 정치에 개입하려는 노력; 그리고 SRC 관리였습니다. 대부분의 경우, 우리는 위협 행위자들이 캠페인을 위한 콘텐츠를 생성하는 데 우리의 모델을 사용하는 것이 아니라, 그것들에 대해 보고하는 용도로만 사용한 것을 관찰했습니다(몇 가지 예외는 아래 설명합니다).

이 보고서들은 전술적 세부 사항으로 가득 차 있어, 이 작전이 어떻게 우크라이나와 일부 국가 지도자들, 특히 아르헨티나, 볼리비아, 에콰도르의 대통령들을 약화시키려 했는지에 대한 빛을 비추었습니다. 어떤 보고서에서는 현지 주민들을 운영자들이 무기화할 수 있는 활동을 수행하도록 속이려는 노력을 설명했고, 다른 보고서에서는 운영자들이 유포했다고 주장하는 가짜 '유출' 정보를 설명했습니다.

두 사례에서 증거는 해당 작전 수행자들이 “Politology”와 관련된 공개 보고서를 작성했음을 보여줍니다. 이 작전 수행자들은 2024년에 아르헨티나의 하비에르 밀레이(Javier Milei) 대통령을 겨냥한 두 가지 캠페인을 진행했다고 보고했습니다. 첫째, 그들은 밀레이가 자신의 개들에게 까르띠에(Cartier) 보석 목걸이를 구매했다는 허위 보고서를 유포했다고 말했습니다. 둘째, 그들은 부에노스아이레스에서 반(反)밀레이 낙서 게시를 위해 현지 배우들에게 돈을 지불했다고 주장했습니다. 유출된 문건들을 바탕으로 볼 때, 이 두 가지 주장은 공적으로 “Politology”와 “La Compania”에 기인한 것으로 알려졌습니다.

러시아의 정보작전(IO)과 연관된 더 많은 가짜 사례들이 존재하지 않았습니다. 예를 들어, 해당 작전 수행자들은 2026년 5월에 페루 리마 지역 교육국에서 온 것처럼 꾸민 가짜 이메일 주소를 만들었다고 주장했습니다. 그들은 이를 이용해 해당 지구의 학교들에게 국가 문화 및 언어 다양성 기념일(5월 21일)을 맞아 우크라이나 관련 행사를 개최하도록 지시했습니다. 이 이메일에는 다른 것들 외에도 일부 우크라이나인에게는 독립적인 인물로 여겨지지만, 러시아와 폴란드에서는 파시즘, 전시 협력 및 잔혹성과 연관된 논란의 여지가 있는 20세기 우크라이나 민족주의자 스테판 반데라(Stepan Bandera)를 언급하라는 명시적 지침이 포함되어 있었습니다. 작전 수행자들에 따르면, 일부 학교들은 이 가짜 이메일 주소에 회신하여 그러한 행사를 개최했음을 확인하고 심지어 사진까지 제공했습니다.

운영자들은 이후 페루와 폴란드 언론에 우크라이나가 초국가주의적 이데올로기를 “수출”하고 있다는 주장과 함께 사건들에 대한 이야기를 심었다고 주장하며 분노를 유발했다. 오픈 소스 검색을 통해 페루(opens in a new window)와(opens in a new window)폴란드(opens in a new window) 언론에서 이 주장에 부합하는 기사들을 발견했으며, 헝가리(opens in a new window)의 영어권 출판물에서도 확인되었다 (일부 기사는 이후 삭제됨). 일부(opens in a new window)기사들에는 “반폴란드적” 태도를 보이는 사람들에게 폴란드에서 페르소나 논 그라타(persona non grata)를 선언해야 한다는 폴란드 유럽 의회 의원의 반응이 포함되어 있었다. 이 러시아의 가짜 정보는 우크라이나인과 폴란드인 사이의 역사적 긴장을 양분하여 부추겼다.

마찬가지로, 6월에 운영자들은 에콰도르의 학교들을 속여 다니엘 노보아(Daniel Noboa) 대통령과 전 사설 군사 계약업체 블랙워터(Blackwater) 책임자 에릭 프린스(Erik Prince)에게 충성을 맹세하는 행사를 열게 했다고 주장하며 다른 가짜 이메일 주소를 사용했다고 주장했다. 운영자들은 이 사건이 에콰도르에서 분노를 일으켜 정부가 이 가짜 정보를 부인하도록 압력을 가했고, 그 결과 전국적인 청중에게 증폭되었다고 주장했다. 다시 한번, 오픈 소스 연구는 에콰도르(opens in a new window) 언론(opens in a new window)에서 이러한 주장에 매우 흡사한 미디어(opens in a new window)보도(opens in a new window)를 발견했으며, 심지어 에콰도르 교육부 장관의 상세한 반박문까지 확인되었다.

운영자들은 자신들의 가짜 이야기를 뒷받침하기 위해 다양한 기술을 사용했습니다. 그들 내부 보고서에 따르면, 이들은 3월에 에콰도르를 겨냥한 두 가지 다른 가짜 뉴스를 유포했습니다. 하나는 에콰도르 주재 우크라이나 영사대에서 나온 것으로 위장된 오디오 파일로, 이 오디오에서는 그가 에콰도리안들에 대해 경멸적인 발언을 한 것이라고 주장되었습니다. 저희의 오픈 소스 조사 결과, 이러한 정확한 주장에 일치하는 TikTok 게시물을 발견했는데, 이는 제한적인 참여만 받은 것으로 보였습니다. 다른 하나는 실제 뉴스 채널 로고 아래 X와 TikTok에 유포된 가짜 비디오 클립으로, 노보아 정부가 우크라이나에서 싸울 젊은 남성들을 모집하고 있다고 주장했습니다. 에콰도르의 팩트체커들은 이 설명과 일치하는 캠페인이 4월 초에 있었음을 언급했습니다.