요약
10월 17일, 메타(Meta)는 미국에서 진행된 대규모 전국 캠페인 기간 동안 'No Kings Coalition'의 공식 인스타그램 계정을 일시적으로 정지시켰습니다. 이 캠페인은 미국 유권자들에게 11월 3일 중간선거에 조기 투표를 장려하기 위한 것이었습니다. 미국 전역에서 약 3,000개의 행사가 진행되고 있었습니다. 주최 측은 참가자들과 소통하는 데 필요했던 오후 1시 30분(Eastern Time)경 계정 접근 권한을 잃었습니다.
메타는 처음에는 과도한 게시물 작성, 공유 및 댓글 작성을 이유로 들었습니다. 다음 날, 커뮤니케이션 담당 부사장인 Andy Stone은 이 설명을 변경했습니다. 메타는 이제 Claude AI를 사용하는 소프트웨어가 인스타그램 프로필, 게시물 및 해시태그를 정상 속도의 4배로 읽고 있었다고 주장합니다.
계정은 약 90분 후에 다시 공개적으로 보이게 되었지만, 주최 측은 메타가 몇 시간 뒤인 오후 5시 33분에 접근 권한을 복구하기 전까지는 아무것도 게시할 수 없었습니다.
메타는 전국적인 투표 캠페인 중에 정치 단체를 검열했고, 자체 자동화 시스템의 잘못을 탓하다가, 나중에는 그 자동화 시스템이 또 다른 자동화 도구를 감지했다고 주장했습니다. 메타는 정지 조치가 잘못되었다고 인정했지만, 어떤 설명도 기술적인 관점에서 무슨 일이 일어났는지 설명하지 못하고 있습니다.
메타의 대응은 저와 같은 독립적인 기술 전문가들이 경고해 온 것과 정확히 같습니다. 제가 이 점을 지적하는 이유는 기술 기업들이 AI를 탓함으로써 자신들의 책임과 책무를 회피하도록 허용할 수 없기 때문입니다.
기술 회사들은 자기 자신 외의 모든 것을 탓하고 있습니다. 메타는 2020년 한 청년의 삼촌 개가 인스타그램에 올린 게시물만으로도 7세 아이가 어떤 맛의 아이스크림을 좋아하는지 추론할 수 있는 기술을 가진 회사임에도 불구하고, 역사상 가장 중요한 순간 중 하나에서 왜 자체 시스템이 정치 단체를 검열했는지 설명하지 못하고 있습니다.
*이 글은 Meta의 행위에 대한 저의 독립적인 기술 분석이며, No Kings Coalition이나 그 정치적 견해를 지지하는 것을 의미하지 않습니다. 이 조직을 지지하든 반대하든 상관없이, 자커버그가 증거 제시나 책임 소재 규명 없이 지원하는 사람이나 조직까지 검열할 수 있다는 사실에 깊이 우려해야 합니다. 동일한 필터는 현재 또는 미래에 Meta의 상업적 이해관계나 자커버그의 정치적 이해관계와 충돌하는 견해를 가진 누구에게든 사용될 수 있습니다.
10월 17일, Andy Stone은 다음과 같이 작성했습니다:
“계정이 게시물(post)을 올리거나, 공유하거나, 댓글을 달 때 매우 높은 빈도로 활동하면 자동화 시스템이 작동할 수 있습니다.”
Stone은 계정 자체의 비정상적으로 잦은 활동을 원인으로 지목했지만, 주최 측은 이에 반박하며 게시물 몇 개만 올렸고 행사를 라이브 스트리밍했을 뿐이라고 주장했습니다. Meta 자체 기록만으로도 이러한 주장을 증명하거나 반증하기가 매우 쉬웠기 때문에, 저는 회사가 더 설득력 있는 설명이 필요했다고 의심합니다.
하루 뒤, Stone은 활동의 원인이 주로 계정의 “읽기(reading)” 행동이었다고 주장하며 다른 설명을 제공했습니다.
게시물 올리기와 읽기는 완전히 다른 활동이며, 유능한 개발자나 데이터 과학자는 활동 로그를 검토하는 것만으로 몇 분 안에 이를 식별할 수 있습니다. 게시물을 발행하거나 콘텐츠를 공유하고 댓글을 다는 행위는 정보를 인스타그램으로 전송하는 것을 포함합니다. 프로필, 게시물, 해시태그를 읽는 행위는 인스타그램으로부터 정보를 요청하는 것을 포함합니다.
Meta는 처음에 조직의 게시 활동을 원인으로 지목했습니다. 이후 엔지니어들은 대신 읽기 활동을 식별했습니다.
Stone은 자신의 첫 번째 및 두 번째 진술을 뒷받침한 증거가 무엇인지 설명해야 합니다.
수정된 성명에서 Stone은 Meta의 보안 시스템이 “프로필, 게시물, 해시태그를 읽는 Claude 도구의 사용”을 감지했다고 말했습니다.
메타는 Anthropic의 AI 소프트웨어를 명시했지만, 어떤 도구인지, 누가 운영했는지, 또는 No Kings 주최 측이 이를 승인했는지 여부는 밝히지 않았습니다.
메타가 Claude를 사용하여 인스타그램에 접속하는 것을 금지한다고 시사하는 것인가? 그렇다면 어떤 정책이 위반된 것인가? 그렇지 않다면, 자동화된 요청을 제한하는 대신 왜 조직의 계정을 정지시켰는가?
메타 주장: 활동량이 네 배 증가했다
Stone은 요청률이 “강렬한 급증(약 4배 분량)으로 급격히 증가”했다고 말했습니다.
네 배라니, 무엇을 기준으로?
만약 계정이 특정 기간 동안 정상적으로 100개의 요청을 받는다면, 네 배는 400개입니다. 만약 평소에 100,000개를 받는다면, 증가는 400,000개를 의미합니다.
제 LinkedIn 게시물은 보통 2,000명에서 250,000명의 독자에게 도달하며, X(구 트위터)에 올린 게시물은 1,500명에서 120만 명 사이입니다. 소셜 미디어에서 갑작스러운 활동량 증가는 정상적입니다.
Stone이 언급한 “강렬한 급증”이라는 표현은 놀랍게 들리지만, 실제 요청 횟수, 시간대, 빈도 없이는 의미 있는 기술 정보를 제공하지 않습니다. 작은 수의 자동화된 요청이라도 강렬하게 몰려올 수 있습니다. 메타가 확립하지 못한 것은 그러한 요청이 조직의 계정을 정지시킬 만큼 정당했는지 여부입니다.
독자 수와 자동화된 요청은 다른 측정치이므로, 오직 청중 규모만으로는 메타의 보안 임계치가 합리적이었는지 판단할 수 없습니다.
실제 수치, 측정 기간 및 메타의 보안 임계치를 알지 못하면 그 수치는 아무것도 말해주지 않습니다.
No Kings 연합은 거의 3,000개의 행사를 조직하고 있었습니다. 인스타그램 계정을 포함한 활동량 증가는 완전히 예측 가능했습니다.
메타는 정치 조직의 계정 정지가 활동을 정당화했는지 판단하는 데 필요한 수치를 제공하지 않은 채 백분율만 사용하고 있습니다.
메타, 자동화된 읽기를 보안 위협으로 묘사하다
Stone은 해당 요청들이 “일반적인 인간의 시스템 탐색이라기보다는 자동화된 봇 트래픽을 연상케 한다”고 말했습니다.
저는 2010년 실리콘밸리에서 벤처 캐피털 투자를 받은 사이버 보안 회사를 설립했으며, 세계 최초의 보안 챗봇을 만들었습니다. 이 챗봇들은 2015년부터 2019년 사이에 Slack, HipChat, Messenger, Telegram과 같은 플랫폼에서 자동화된 활동을 수행했습니다. 저는 자동화된 활동 자체가 본질적으로 보안 위반이 아님을 확신할 수 있습니다. 유능한 사이버 보안 전문가나 챗봇 개발자는 자동화를 악의적인 것으로 자동으로 분류하지 않을 것입니다. 이는 기술적으로 말이 되지 않습니다. 검색 엔진, 모니터링 도구, 연구 애플리케이션 및 AI 비서들은 매시간, 매일 수십억 건의 자동화된 요청을 생성합니다. 플랫폼들은 과도한 트래픽을 식별하고, 접근 자격 증명을 제한하며, 정책을 위반하는 요청을 차단하도록 설계된 시스템을 갖추고 있습니다.
Meta는 자체 AI 비서인 Muse를 사용하여 Facebook 및 Instagram과의 상호작용을 자동화하는 사람들에게 같은 제한을 적용할까요? 그렇지 않다면, 그 이유는 무엇일까요?
Stone은 자동 검토 과정에서 해당 정지 조치가 잘못되었다는 것을 인지했고 약 한 시간 후에 계정이 복구되었다고 주장했습니다. 이는 진실성이 결여된 주장입니다. Meta는 공개 가시성을 복원했지만, 주최 측은 몇 시간 동안 계속 잠겨 있었습니다. 계정이 복구되었다고 말함으로써, Stone은 Meta가 여전히 해당 단체의 출판을 막고 있다는 사실을 은폐했습니다. 이 정도 규모의 실수를 설명할 때조차도, Meta는 실제로 무슨 일이 일어났는지 흐릿하게 만드는 언어를 선택했습니다.
No Kings 주최 측에 따르면, 그들의 Instagram 페이지는 약 90분 후에 다시 공개적으로 보이게 되었지만, 여전히 사용할 수 없었습니다. 계정을 관리하는 사람들은 동부 시간으로 오후 5시 33분까지 잠금 상태로 남아 있었습니다.
Meta 자체의 자동 검토 과정에서 이미 정지 조치가 잘못되었다고 결정했음에도 불구하고, 주최 측은 전국 캠페인을 진행하는 동안 게시물을 올리거나 지지자들과 소통할 수 없었습니다.
스톤(Stone)은 관리자 접근 권한을 복구하는 데 추가 시간이 걸렸다고 언급했습니다. 그 이유는 무엇일까요? 제 관점에서 볼 때, 의미 있는 접근 권한을 복구하려면 필요한 권한을 가진 Meta 직원이 필요했다는 것이 유일하게 신뢰할 만한 설명입니다. 이는 누군가가 이미 잘못되었다고 인정했던 정지 조치의 번복을 승인해야 했음을 시사합니다. Meta는 누가 그 결정에 관여했는지, 누가 복구를 승인했는지, 그리고 왜 주최자들이 계정에서 차단된 상태로 유지되었는지 밝혀야 합니다.
주최자들이 여전히 사용할 수 없는 인스타그램 페이지를 복구하는 것은 그들의 소통 능력을 회복시키는 것이 아닙니다. Meta가 자체 시스템으로 정지 조치가 잘못되었다고 인식했음에도 불구하고, 이들을 검열하려는 Meta의 결정은 해당 조직에 계속해서 영향을 미치고 있습니다.
메타의 사과는 누가 결정을 내렸는지 설명하지 못한다
스톤은 원래의 집행 조치를 “명백히 오류로 이루어진 것”이라고 묘사했습니다. 하지만 여기에는 명확한 부분이 없습니다. 그가 말하는 것과 정반대의 것이 사실일 가능성이 더 높다는 것이 저에게는 분명합니다.
자동화 시스템이 인스타그램 정책을 위반하는 행동을 독립적으로 결정하지 않습니다. 특히 그렇게 유명한 계정의 경우 더욱 그렇습니다.
No Kings Coalition은 미국에서 가장 저명한 반(反)트럼프 운동 중 하나로, 수천 개의 장소에 걸쳐 수백만 명의 사람들이 참여하는 전국적인 시위를 조직하고 있습니다. 주요 동원 캠페인 기간 동안 이들의 인스타그램 계정을 정지시킨 것은 예측 가능한 결과를 초래한 정치적으로 중요한 결정이었습니다.
조직의 중요성, 시기적 배경, 그리고 대중의 반발을 고려할 때, 정지와 복구에 대한 결정에는 여러 Meta 팀과 고위 관리자들이 관여했을 수밖에 없습니다. 특히 주요 콘텐츠 조정(content moderation) 결정에 직접 참여하는 경향이 있는 것을 감안하면, 저커버그(Zuckerberg) 자신도 관련되었을 것입니다.
이는 단순히 소프트웨어 오류가 아니었습니다. 사람들이 결정을 내렸고, Meta의 자동화 시스템이 그것을 실행했을 뿐입니다. 공적인 가시성을 복구하면서 주최자들을 차단 상태로 유지하는 것은 Meta가 아직 설명하지 못한 별도의 집행 결정이 필요했습니다.
메타의 기록은 누가 사건을 검토했는지, 누가 변경 사항을 승인했는지, 고위 임원들이 브리핑을 받았는지 여부와 그 이유, 그리고 완전한 접근 권한 복구에 몇 시간이 걸렸는지를 식별할 수 있다.
이것은 선거 기간 동안 메타가 정치적 커뮤니케이션을 검열한 첫 번째 사례가 아니다
나는 18시간 전에 기사를 작성하여 브라질에서 메타가 현직 대통령(Luiz Inácio Lula da Silva)이 정상적인 유료 인스타그램 홍보 활동을 하는 것을 차단한 반면, 그 알고리즘과 WhatsApp는 그의 상대 후보인 Flávio Bolsonaro를 추천했음을 설명했다. 메타의 AI는 기본적인 Lula 캠페인 자료는 거부했지만, Bolsonaro에게는 동등한 자료를 생성했다. 메타 직원 중 일부가 실시간으로 이러한 불평등한 처우를 감지하고 이를 상부에 보고했으며, 회사는 나중에 날짜나 Bolsonaro 캠페인이 Lula가 접근할 수 없었던 것과 동일한 도구를 계속 사용했다는 사실에 맞지 않는 변덕스러운 기술적 변명들을 제시했다.
선거 기간 동안, 메타는 연구원들이 불법이라고 밝힌 1,600개 이상의 정치 광고를 운영했으며, 이들은 거의 모두 미국 달러로 비용을 지불했고, 이미 최대 1억 7,110만 번 노출된 후에야 재분류되거나 제거되었다. 선거 연도 동안 계정 정지 관련 불만은 585% 증가했다. 브라질 사례는 No Kings의 정지가 조율되었거나 의도적이었다는 것을 입증하지 않는다. 이는 메타가 기술적 결함으로 돌린, 정치적으로 중요한 계정 제한의 또 다른 예시를 보여줄 뿐이다.
메타는 정치 조직 및 정당이 언제 게시하고, 광고하고, 추천 목록에 나타나고, 청중과 소통할 수 있는지 통제한다. 유명 계정의 경우, 이러한 결정을 내리는 것은 자동화된 시스템이 아니라 메타의 임원들이다.
메타는 자체 시스템이 실제로 무엇을 했는지 설명해야 한다
메타는 모든 것을 기록하는 로그를 가지고 있다. 그들은 무엇이 정지를 유발했는지, 누가 또는 무엇이 그것을 야기했는지, 어떤 제한이 부과되었는지, 그리고 모든 행동에 대해 어떤 직원이 책임이 있었는지 정확히 알고 있다. 또한 정지가 해제된 후에도 주최자들이 왜 잠겨 있었는지도 알고 있다.
Meta가 직원들이 내린 모든 결정을 문서화하지 못할 수도 있지만, 해당 기록이 삭제되지 않았다면 그들이 무슨 일이 일어났는지 설명하는 데 필요한 기술적 증거(technical evidence)를 시스템 로그(system logs)에 담고 있다.
대중은 마크 저커버그(Mark Zuckerberg)의 회사가 왜 정치 조직과 개인들을 검열하고 있는지, 그리고 그 방식이 하우스 백악관(White House)의 정치적 의제에 유리하게 작용하는지 알아야 한다. 특히 그들이 가장 소통할 필요가 있을 때 청중으로부터 단절시키고 있기 때문이다.
의회는 이러한 시스템을 책임지는 엔지니어와 데이터 과학자(data scientists)들을 소환하여 선서(under oath)를 하게 하고, 시스템 로그로 뒷받침되는 구체적인 기술적 답변을 요구해야 한다. 그들은 기업 성명 뒤에 숨거나 자동화(automation) 탓으로 사람들에 의해 내려진 결정을 돌릴 수 있게 해서는 안 된다.
Meta의 엔지니어와 데이터 과학자들은 이 질문들에 답변하고, 그 답변을 뒷받침할 기술 기록(technical records), 내부 커뮤니케이션, 그리고 집행 로그(enforcement logs)를 제공해야 한다. 정책 담당자를 부르는 것은 무의미하다. 그들은 회피하거나 실제로 무슨 일이 일어났는지 설명할 기술적 지식이 부족할 것이다.
