편집자 주: 이 기사는 아동 성학대를 묘사하는 이미지에 대한 설명을 포함하고 있습니다. 독자의 주의가 강력히 권고됩니다.

WIRED와 공유된 광고 세부 정보에 따르면, 지난 9개월 동안 Mark Zuckerberg의 Meta는 노골적인 AI 생성 아동 성학대물 (CSAM) 및 성적으로 암시적인 문구와 함께 미성년자의 이미지를 포함하는 수십 개의 유료 광고를 집행했습니다. 일부 사례에서는 수천 개의 계정에 도달한 이 광고들은 미국, 영국 및 12개 이상의 유럽 국가에 거주하는 사람들을 대상으로 했습니다.

Tech Transparency Project (TTP)의 연구원들은 최근 Meta의 광고 라이브러리(ad library)에서 학대 콘텐츠가 포함된 50개 이상의 이미지 및 비디오 광고를 발견했으며, 해당 목록은 일부 광고가 이른바 'nudify' 또는 'undressing' 앱으로 연결됨을 보여주었습니다. 회사의 플랫폼에서 표시되는 광고를 목록화하는 투명성 도구인 Meta의 광고 라이브러리는 이 광고들이 Facebook, Instagram, Messenger 및/또는 Threads 전반에 걸쳐 실행되었음을 보여줍니다. 이번 발견은 최근 몇 주 사이 Meta의 플랫폼에서 아동 성학대물과 연결된 유료 광고가 발견된 두 번째 사례입니다.

독립 감시 단체인 TTP의 디렉터 Katie Paul은 WIRED에 "이 광고들은 이미지를 가리거나 무엇을 홍보하는지 숨기려는 노력을 전혀 하지 않았습니다"라고 말했습니다. "중요한 점은 이것이 Facebook이나 Instagram에 제3자가 게시한 콘텐츠가 아니라, Meta가 검토하고 승인하여 실행을 허용한 광고이며, 회사가 광고 수익을 거두는 동안 어떠한 간섭도 겪지 않았다는 사실입니다."

연구원들에 의해 발견된 이 광고들은—현재 Meta가 아동 성학대 및 착취물, 성인 성적 유인 및 누드에 관한 정책을 위반했다는 이유로 삭제했습니다—모두 작년 11월부터 8월 초 사이에 게시되었습니다. Meta의 광고 투명성 라이브러리 데이터에 따르면, 이 광고들은 종종 며칠 동안 실행되었으며 일부는 남성만을 대상으로 했습니다.

TTP 연구진에 따르면, 한 동영상 광고는 바닥에 앉아 있는 아이의 썸네일 이미지 위에 “생성형 AI (Generation AI)로 실현하는 깊은 판타지 [sic]. 보여지는 것보다 훨씬 더 많은 것이 있으니, 상상력을 발휘해 보세요.”라는 문구를 띄워 사용했습니다. 연구진은 해당 광고를 클릭하면 성행위에 참여하는 성인들의 영상 클립이 재생된 후, 썸네일에 있던 아이의 얼굴이 성행위 영상에 합성되어 나타난다고 밝혔습니다.

연구진이 반복적으로 게시된 것을 확인한 또 다른 광고는, 한 어린 소녀가 성적인 자세로 다리를 벌린 채 뒤로 누워 있는 이미지와 함께 그 위에 “더 많은 것을 보여줄 수 있습니다.”라는 문구를 표시하고 있었습니다.

연구진이 이를 발견했을 당시 대부분의 광고가 사용자들에게 활발히 노출되고 있는 상태는 아니었으나, 이 광고들은 Meta의 광고 라이브러리에서 감지되지 않은 채 몇 달 동안 계속 이용 가능한 상태로 남아 있었습니다. Meta의 데이터에 따르면 많은 광고가 단 몇 개의 계정에만 "도달(reach)"한 것으로 나타났지만, 적어도 한 광고는 프랑스, 독일, 아일랜드, 이탈리아, 네덜란드, 스페인, 스웨덴, 영국을 포함한 유럽 내 2,563개 계정에 도달했습니다. Meta의 광고 라이브러리 데이터베이스에는 미국 또는 모든 국가의 광고 성과에 대한 세부 정보가 포함되어 있지 않으므로, 전체 도달 범위는 이보다 더 높을 수 있습니다.

Paul은 중국 광고 파트너가 해당 광고를 게시한다는 보고서를 발표한 이후, TTP 연구진이 Meta의 누디파이(nudify) 앱 광고를 계속 조사하던 중 지난주에 이 광고들을 처음 발견했다고 말했습니다. Paul은 조직 차원에서 즉시 이 조사 결과를 온라인 아동 성학대물(CSAM) 신고를 허용하는 National Center for Missing and Exploited Children(NCMEC)의 CyberTipline에 보고했다고 밝혔습니다. NCMEC 대변인은 접수된 보고에 대해 언급하지 않겠다고 말했습니다.

WIRED가 Meta에 연락을 취한 후, 회사는 광고 라이브러리(advertising library)에서 해당 광고들을 삭제했습니다. Meta 대변인은 “성적 착취는 끔찍한 일이며, 우리는 이를 플랫폼에서 제거하기 위해 공격적으로 노력하고 있습니다”라고 밝혔습니다. “이 광고들의 대부분은 도달 범위가 미미했으며, 많은 광고가 WIRED가 이를 공유하기 전에 비활성화되었습니다. 또한 이 광고들 중 상당수는 업로드 시 위반 광고를 더 잘 탐지하고 차단하기 위해 최근 출시한 새로운 AI 기술이 도입되기 이전에 생성된 것이며, 우리는 이러한 시스템을 지속적으로 개선하고 있습니다. 작년에 3,600만 개 이상의 아동 성적 착취 콘텐츠를 제거한 것부터 nudify 앱 개발자들을 상대로 법적 조치를 취한 것에 이르기까지, 우리는 이러한 남용에 맞서 끊임없이 싸울 것입니다.”

회사가 암시한 것처럼, 일부 위반 광고들은 Meta의 새로운 AI 기술을 통과했습니다. 처음에 TTP 연구원들은 학대 콘텐츠를 보여주는 광고를 약 20여 개 발견했습니다. 그러나 보도 몇 시간 전, 연구원들은 약 30개의 광고를 추가로 발견했습니다. 이 광고들 중 상당수는 WIRED가 Meta에 해당 콘텐츠에 대해 처음 문의한 이후에 게시되었으며, 연구원들이 이를 발견했을 당시에도 여러 광고가 활성화되어 계정들에 노출되고 있었습니다.

Paul은 이번 그룹에 연구원들이 목격한 가장 최악의 사례들이 포함되어 있다고 말했습니다. 연구원들에 따르면, 한 비디오 광고는 소녀가 립글로스를 바르는 듯한 썸네일을 보여주었으나, 영상이 재생되기 시작하자 영상 속 아이가 성행위를 하는 모습으로 변했습니다.

Meta의 정책에 따르면 모든 광고는 게시 전 검토를 거치며, 시스템은 정책 위반 여부를 확인하기 위해 “주로” “자동화된 도구(automated tools)”를 사용합니다. 회사의 광고 표준(advertising standards)은 아동 성적 착취 및 착취물을 허용하지 않는다고 규정하고 있으며, 회사가 이를 인지할 경우 NCMEC에 보고한다고 밝히고 있습니다. 이를 넘어 Meta의 광고 정책은 광고에 “누드를 묘사하는 이미지, 성적 활동, 노골적이거나 성적으로 암시적인 자세를 취한 사람의 묘사, 또는 성적으로 암시적인 활동”을 포함하는 것을 허용하지 않는다고 명시하고 있습니다.

Meta의 광고 라이브러리(ad library)를 확인한 결과, TTP 연구원들이 발견한 광고들은 회사의 정책을 위반하여 삭제된 것으로 나타났습니다. 해당 광고들은 “아동 성착취, 학대 및 누드(child sexual exploitation, abuse and nudity)”와 “성인 누드 및 성적 활동(adult nudity and sexual activity)”에 관한 규정을 위반했다는 메시지를 표시하고 있었습니다.

7월 초, BBC의 조사에 따르면 Instagram은 인도에서 아동 성학대물(child sexual abuse material)로 보이는 제품의 판매를 조장하는 광고를 게재해 온 것으로 밝혀졌습니다. 보도에 따르면, 해당 광고들은 “강간 영상(rape video)”과 같은 용어를 사용했으며, 불법 콘텐츠를 구매할 수 있는 Telegram 채널로 연결되었습니다. 이에 대응하여 Meta는 아동 성착취에 대해 “무관용(zero tolerance)” 원칙을 취한다는 내용의 긴 성명서를 발표했습니다.

이 광고들은 대부분 팔로워가 없거나 아주 적은 Meta 계정들에 의해 게시된 것으로 보이며, 유료 광고주가 공개된 경우에는 중국 기업들과 연결되어 있다고 Paul은 말합니다. 한 사례로—한 소녀가 비스듬히 누워 있는 모습을 보여주는 광고의 경우—TTP 연구원들은 Meta의 데이터에 따르면 광고주가 Meet Social이라는 중국 기업이라고 밝혔습니다. 이 회사는 과거에 Meta의 소셜 미디어 플랫폼이 차단된 중국 내 광고를 처리하는 Meta의 광고 재판매업자(ad resellers) 중 하나였습니다. 2019년 New York Times의 프로필에 따르면, 이 회사는 Facebook에 하루 수천 개의 광고를 게시했으며 10억 달러 이상의 매출을 예상했습니다.

Meet Social는 WIRED의 논평 요청에 응답하지 않았습니다.

TTP 연구원들이 발견한 여러 Meta 광고들은 Apple의 App Store에 등장하는 MaskAI라는 앱으로 연결되었습니다. WIRED가 해당 앱을 검토한 결과, 중국 소프트웨어 개발사와 연결된 이 앱은 다운로드 전에는 어떠한 누드 장면도 보여주지 않았습니다. 그러나 앱을 실행하면 오직 AI로 생성된 포르노(AI-generated porn)만을 포함하고 있었으며, 사용자가 이미지를 업로드하고 사람의 얼굴을 성적인 상황으로 페이스스왑(face-swap)할 수 있는 기능을 포함하고 있었습니다.

WIRED의 연락을 받은 Apple 대변인은 MaskAI가 누드화(nudification) 앱에 대한 정책을 위반하여 App Store에서 삭제되었으며, 회사는 "항상 포르노그래피를 생성, 배포 또는 소비하도록 설계된 앱을 엄격히 금지해 왔다"라고 밝혔습니다. (MaskAI와 연결된 이메일 주소는 논평 요청에 응답하지 않았습니다). 다른 앱이나 웹사이트로 연결되는 다른 광고들도 있었습니다.

2020년경부터 머신러닝 (machine learning) 및 그에 따른 생성형 AI (generative AI) 기술이 발전함에 따라, 위험한 AI 누드화 및 탈의 서비스라는 거대한 암부(underbelly)가 온라인에 등장했습니다. 이들은 제작자들에게 수백만 달러의 수익을 안겨주는 동시에 수많은 여성에게 헤아릴 수 없는 피해를 입히고 있습니다. 또한 이들은 전 세계적으로 불법인 AI 생성 아동 성학대물 (child sexual abuse material)을 제작하는 데에도 사용되어 왔습니다.

WIRED가 TTP의 조사 결과와 관련하여 Meta에 처음 연락했을 때, Meta는 두 곳의 온라인 안전 기구에 이 기사를 위한 논평을 제공해 달라고 요청했습니다. 온라인 학대 문제 해결을 위해 기술 기업들과 협력하는 단체인 Tech Coalition의 퇴임 예정 CEO Sean Litton은 성명을 통해 Meta가 기업 간 학대 콘텐츠 정보를 공유하는 해당 그룹의 Lantern 서비스에 "수천 개의 위반 URL"을 공유했다고 밝혔습니다. 성인의 비동의 이미지를 방지하기 위해 활동하는 영국의 Revenge Porn Helpline 대변인 또한 Meta가 StopNCII.org와 협력하고 비동의 친밀 이미지 (nonconsensual intimate imagery)에 맞서기 위해 기울이는 일부 노력들을 높이 평가하는 성명을 발표했습니다. Revenge Porn Helpline은 "누드화 앱은 단순히 그 배후에 누가 있느냐 때문만이 아니라, 단일한 집행 지점에 대해 이 생태계가 얼마나 빠르게 적응하느냐 때문에 진정으로 적대적인 문제를 제기한다는 점을 분명히 해왔습니다"라고 말했습니다.

디지털 기만 전문 매체인 Indicator의 공동 창립자이자 Google의 전 Trust and Safety (신뢰 및 안전) 담당자인 Alexios Mantzarlis는 최근 몇 년간 Meta의 플랫폼에서 AI 누디파이어 (AI nudifiers) 광고를 25,000개 이상 발견하여 신고했다고 밝혔습니다. Meta는 이전에 누디파이어 관련 광고 344,000개 이상을 삭제했으며, 한 누디파이어 플랫폼 세트와 연관된 홍콩 기업을 상대로 법적 조치를 취했다고 밝힌 바 있습니다. (WIRED는 이전에 누디파이어 기술이 전 세계 학교에서 아동을 대상으로 어떻게 사용되었는지에 대한 보도를 위해 Indicator와 협력한 바 있습니다).

"상대측 행위자들은 사기 네트워크에서 사용하는 것과 동일한 기술을 활용하여, 계속해서 활동을 이어갈 수 있도록 새로운 광고주 계정과 새로운 도메인을 생성할 수 있는 충분한 역량을 명확히 갖추고 있습니다"라고 Mantzarlis는 WIRED에 전했습니다. "불행히도, 이미지 기반 성적 학대 (image-based sexual abuse) 산업은 스택 전반에 걸친 플랫폼들의 소극적인 집행으로 인해, 일시적인 현상에서 우리 온라인 생태계의 영구적인 요소로 자리 잡았습니다."