Project Cannes의 실체 — 그리고 세부 사항이 중요한 이유

Project Cannes로 알려진 Meta의 내부 작전은 Meta의 벤더인 Covalen을 통해 관리되는 수백 명의 계약업체를 투입했습니다. 이들에게 주어진 구체적인 임무는 미성년자로 위장한 가짜 계정을 생성한 다음, 상상할 수 있는 가장 심리적으로 해로운 콘텐츠로 경쟁 AI 챗봇들을 폭격하는 것이었습니다.

대상은 무명 제품들이 아니었습니다. 계약업체들은 Meta의 자체 생태계 외부에서 가장 지배적인 세 가지 대화형 AI 플랫폼인 OpenAI의 ChatGPT, Google의 Gemini, 그리고 Character.AI를 체계적으로 조사했습니다. 작업자들은 각 플랫폼에서 18세 미만의 더미(dummy) 계정을 생성하고, 알약, 칼, 교수형 밧줄, 그리고 산부인과 시술의 의학 도표가 포함된 이미지와 함께 텍스트 프롬프트를 제출했습니다. 모든 응답은 스프레드시트에 복사되었으며, 이는 아동 대상의 압박 상황에서 경쟁 AI의 안전 가드레일(safety guardrails)이 어떻게 작동하는지에 대한 경쟁 정보 보고서(competitive intelligence dossier)와 다름없는 것을 구축했습니다.

주제는 부수적인 것이 아니었습니다. 계약업체들은 자살, 섭식 장애, 성(sex), 약물 사용과 관련된 응답을 조사하도록 구체적으로 지시받았습니다. 이는 아동 안전 옹호가, 규제 기관, 그리고 원고 측 변호사들이 AI 시스템과 상호작용하는 미성년자들에게 가장 위험하다고 지적한 바로 그 범주들입니다. 이것들은 광범위한 테스트의 예외적인 사례(edge cases)나 우발적인 부산물이 아니었습니다. 그것들이 바로 목적이었습니다.

이 작전은 최근인 2025년 4월 21일까지도 계속 운영되었습니다. 그 날짜가 중요한 이유는 Project Cannes가 과거의 실험이었거나 일시적인 판단 착오였다는 어떠한 주장도 무력화하기 때문입니다. 이는 동일한 기업이 공개적으로는 책임감 있는 AI 개발자로 자신을 포지셔닝하는 동안, 세계 최대 기술 기업 중 하나 내부에서 운영된 활성 상태의 승인된 프로그램이었습니다.

이러한 규모는 해당 행위의 의도성을 뒷받침합니다. 수백 명의 계약직 인력이 기관의 승인과 체계적인 프로젝트 관리 없이, 동시에 십 대를 사칭하고 경쟁사 챗봇의 자해 이미지 응답을 기록하도록 배정될 수는 없습니다. Project Cannes는 돌발적인 행동이 아니었습니다. 그것은 조직적이었고, 자원이 투입되었으며, 지속적으로 진행되었습니다. 이것이 바로 공개 당시의 초기 충격을 넘어 세부 사항들이 중요한 이유입니다.

누락된 맥락: 이것은 안전 연구가 아니라 경쟁 정보 수집입니다

Meta의 Project Cannes에 대한 초기 보도는 "안전 테스트 (safety testing)"라는 프레임에 크게 의존하며, 이 운영을 공격적이긴 하지만 AI 유해성에 대한 정당한 연구로 취급했습니다. 하지만 그러한 프레임은 면밀한 조사 결과 무너집니다.

AI 산업에서의 정당한 레드팀 (red-teaming) 활동은 명확한 프로토콜을 따릅니다. 연구자들은 내부에서 작업하거나, 테스트 대상이 되는 플랫폼과 협력하거나, 공개된 버그 바운티 (bug-bounty) 계약 하에 운영됩니다. Covalen을 통한 Meta의 계약직 운영은 이 중 어느 것도 수행하지 않았습니다. 수백 명의 노동자들이 가짜 미성년자 계정을 생성하고, 해당 기업들의 인지나 동의 없이 실제 소비자 제품인 ChatGPT, Google Gemini, 그리고 Character.AI를 조사했습니다. 그것은 아동 안전 감사 (child safety auditing)가 작동하는 방식이 아닙니다. 그것은 경쟁 정보 (competitive intelligence) 수집이 작동하는 방식입니다.

대상 목록은 이 이야기 전체에서 가장 드러내는 바가 큰 세부 사항이며, 주류 언론이 가장 일관되게 묻어버린 부분이기도 합니다. Cannes가 조사한 모든 플랫폼은 Meta의 경쟁사였습니다. 이 운영에서 Meta AI, Meta의 자체 챗봇 제품, 또는 Meta가 제어하는 다른 어떤 제품을 대상으로 한 작업도 단 하나도 없었습니다. AI 시스템이 미성년자를 자살, 섭식 장애, 자해 관련 콘텐츠에 노출시키는 것에 대해 진정으로 우려하는 기업이라면, 자신의 시스템에 대해 먼저 감사를 실시했을 것입니다. Meta는 그렇게 하지 않았습니다. 결코 실행되지 않았던 내부 감사가 바로 다른 모든 것을 재구성하는 데이터 포인트입니다.

기만적인 미성년자 사칭 계정을 통해 경쟁 플랫폼을 은밀히 조사하기 위해 수백 명의 계약직 인력을 대규모로 투입하는 것은 안전 옹호 인프라(safety advocacy infrastructure)가 아닙니다. 이는 아동 보호라는 언어로 포장된 적대적 경쟁 정보(adversarial competitive intelligence) 활동입니다. 계약직 노동, 가짜 계정, 스프레드시트로의 체계적인 데이터 추출, 대상에 대한 비공개 등 그 운영 구조는 기업 스파이 활동(corporate espionage)의 수법과 정확히 일치합니다. 테스트 대상이 취약한 미성년자와 고위험 콘텐츠를 포함하고 있었다는 점이 이 프로젝트에 부당한 도덕적 외피를 제공했을 뿐입니다.

Meta는 경쟁사의 AI 안전 약점을 감시하고, 해당 약점에 대해 잠재적으로 해로운 문서를 생성하며, 이 모든 것을 공익 프로젝트라고 부를 수 있는 능력을 유지하는 방법을 찾아냈습니다. 이 방법론은 그 동기를 폭로합니다.

미성년자 사칭 방식이 자체적인 윤리적 및 법적 위험 신호를 일으키는 이유

Meta의 작전은 경쟁사의 문제점만 드러낸 것이 아니라, 스스로 문제를 야기했습니다. 성인 계약직들에게 18세 미만 계정을 위조하도록 지시하고, 챗봇에게 알약, 올가미, 칼, 산부인과 도해(gynecological diagrams) 이미지를 보내게 하는 행위는 해당 챗봇이 어떻게 반응했는지와는 완전히 별개로 모호한 법적 영역에 속합니다. 연령 기반 콘텐츠 제한이 있는 플랫폼과 상호작용하기 위해 가짜 미성년자 계정을 생성하는 것은 서비스 이용 약관(terms-of-service) 위반, 컴퓨터 사기 법령(computer fraud statutes), 그리고 온라인 아동 보호를 위해 특별히 설계된 규정들을 위반했을 가능성이 있습니다. Meta는 이러한 문제들에 대해 공개적으로 답변하지 않았습니다.

이러한 경쟁 정보 수집 (competitive intelligence) 전략은 실제 아동 사용자들의 이익 또한 저해했습니다. Character.AI는 현재 미성년자와의 챗봇 상호작용과 관련하여 활발한 소송과 규제 당국의 조사를 받고 있습니다. 'Cannes'라는 내부 프로젝트명 아래 작업하던 Meta의 계약업체들이 경쟁 플랫폼이 십 대 소속으로 등록된 계정들에 유해한 콘텐츠를 제공하고 있다는 사실을 발견했을 때, 취해야 할 책임 있는 조치는 명확했습니다. 즉, 해당 플랫폼이 취약점 (vulnerability)을 수정할 수 있도록 조정된 공개 (coordinated disclosure)를 통해 이를 보고하는 것이었습니다. Meta는 그렇게 하지 않았습니다. 회사는 데이터를 수집하고, 응답 내용을 스프레드시트에 복사했으며, 그 조사 결과들을 내부적으로만 유지했습니다. 그러한 방식이 지속된 매일은, Meta가 조용히 기록하고 있던 것과 동일한 위험에 실제 청소년들이 계속해서 노출되어 있었던 또 다른 하루였습니다.

노동자들 자신이 겪는 인간적 비용은 거의 주목받지 못했습니다. 기업의 정신 건강 복지 혜택이나 공식적인 심리 지원 체계에 접근할 수 있는 Meta의 직원이 아니라, Covalen을 통해 고용된 수백 명의 계약업체들은 청소년 자살, 섭식 장애, 그리고 성적 시나리오에 관한 그래픽 콘텐츠를 생성하고 검토하는 데 업무 시간을 보냈습니다. 콘텐츠 모더레이션 (content moderation) 연구에 따르면, 이러한 유형의 자료에 반복적으로 노출되는 것은 측정 가능한 심리적 해를 끼칩니다. 이 노동자들은 유기적으로 나타나는 콘텐츠를 검토(moderating)하는 것이 아니었습니다. 그들은 업무 요구 사항으로서 프롬프트 (prompt)를 하나씩 입력하며 능동적으로 콘텐츠를 직접 생산하고 있었습니다. Covalen이 트라우마 기반 지원 프로토콜 (trauma-informed support protocols)을 제공했는지 여부는 알 수 없는데, 두 회사 모두 Cannes 프로젝트에 부수되는 노동 조건을 공개하지 않았기 때문입니다. 그 침묵 자체가 이미 답을 말해주고 있습니다.

더 넓은 패턴: 아동 안전을 방패와 칼로 사용해 온 Meta의 역사

Meta는 경쟁적 공격성을 아동 보호라는 언어로 포장하는 습관이 잘 기록되어 있습니다. 의회 청문회에서 이 회사는 규제 프레임워크를 지지하면서도, 동시에 자사의 플랫폼에 유리한 방식으로 규제를 형성하기 위해 조용히 로비하며 스스로를 청소년 안전의 책임 있는 관리자로 자리매김해 왔습니다. Meta는 암호화 정책 논쟁을 아동 안전 프레임으로 몰아붙이며, 백도어 (backdoor) 접근이 아동 보호 이익에 부합한다고 주장해 왔습니다. 이는 Meta의 광범위한 정책 목표와 편리하게 일치하는 입장이었습니다. '오퍼레이션 칸(Operation Cannes)'은 이러한 패턴에 정확히 부합합니다. 아동 안전은 가짜 미성년자 계정을 사용하여 경쟁 플랫폼에 체계적으로 침투하기 위한 명시적인 명분이었던 반면, 실제 결과물은 Meta의 경쟁 정보 (competitive intelligence) 작전에 직접적으로 투입되었습니다.

이번 폭로의 파장은 Meta의 평판을 훨씬 넘어섭니다. 미국과 유럽 연합 (EU)의 규제 당국은 현재 업계의 자발적 보고, 자발적 투명성 약속, 그리고 대형 플랫폼이 위험을 악용하기보다는 이를 알릴 것이라는 가정에 크게 의존하는 AI 안전 프레임워크를 구축하고 있습니다. 한 기업이 조작된 아동 신원을 사용하여 경쟁사를 은밀히 조사하기 위해 수백 명의 계약업체를 배치하고, 이를 공개 없이 수개월 동안 수행한다면, 이는 왜 그러한 자율 규제 가정이 위험한지를 정확히 보여줍니다. 모델의 가장 저명한 참여자 중 하나가 대규모로 은밀한 청소년 사칭 프로그램을 운영하고 있다면, 선의에 기반한 협력 모델 전체의 신뢰성은 무너집니다.

대상 기업들인 OpenAI, Google, 그리고 Character.AI는 자신들의 시스템에 대한 이러한 체계적인 탐색에 대해 전혀 알지 못했던 것으로 보입니다. 계약업체들은 각 플랫폼에서 승인되지 않은 18세 미만 계정을 생성했으며, 이는 세 기업 모두의 서비스 약관(Terms of Service)을 거의 확실히 위반한 것이었습니다. 여러 AI 플랫폼에 걸쳐 동시에 수행된 조직적인 기만 행위에 대해 아직 관할권을 주장하는 규제 기관은 없습니다. 그러한 관할권의 공백 자체가 문제입니다. Meta의 작전은 AI 플랫폼 조작 및 아동 신분 오용에 대한 집행 방식의 실질적인 허점을 드러냈으며, 이 과정에서 어떠한 의무적 보고 의무도 발생시키지 않았습니다.

아동 온라인 안전 옹호 단체와 플랫폼 책임 연구원들은 기술 기업의 자율 규제가 정확히 이런 결과를 초래한다고 수년간 주장해 왔습니다. 즉, 보호라는 언어가 경쟁 무기가 되어, 상원 회의장에서는 공개적으로 사용되고 내부 프로젝트 문서에서는 조용히 무기화되는 상황 말입니다. '오퍼레이션 칸(Operation Cannes)'은 Meta의 행동 양식에서 나타난 이례적인 현상이 아닙니다. 이는 아동 안전을 의무가 아닌 전략적 자산으로 취급할 때 나타나는 논리적 종착점입니다.

실제로 무엇이 바뀌어야 하는가 — 그리고 누가 이를 강제할 권한을 가졌는가

현재 시행 중인 EU의 AI 법(AI Act)은 유럽 규제 당국에 미국 측 대응 상대들이 가지지 못한 도구들을 제공합니다. 미국 연방거래위원회(FTC)가 기존의 소비자 보호 법령을 바탕으로 사건을 구성해야 하는 반면, EU 당국은 '프로젝트 칸(Project Cannes)'과 같은 은밀한 경쟁 테스트 작전을 포함하여, 이 기술을 위해 명시적으로 설계된 프레임워크에 따라 고위험 AI 배포에 대한 구조적 조사를 수행할 수 있습니다. Meta는 워싱턴에서는 정책 담론을 형성하는 동시에 브뤼셀에서는 선택적으로 규정을 준수하며, 이러한 규제 비대칭성을 정밀하게 관리해 왔습니다. 이러한 역학 관계가 책임이 실제로 어디에 귀속될지를 결정할 것입니다.

사이버 보안 업계는 수십 년 전에 이 문제의 한 버전을 해결했습니다. 책임 있는 공개 (Responsible disclosure) 규범은 취약점을 발견한 연구자가 이를 공개하기 전, 일반적으로 90일이라는 정해진 기간 내에 영향을 받는 벤더 (vendor)에게 보고할 것을 요구합니다. AI 안전 (AI safety)에는 이에 상응하는 표준이 없습니다. 현재 미국의 어떤 법률도 Meta가 자사의 계약업체들이 자해 이미지가 포함된 청소년 사칭 프롬프트에 대해 ChatGPT, Gemini 또는 Character.AI가 어떻게 반응했는지 발견한 내용을 공유하도록 요구하지 않습니다. 기업은 경쟁사의 아동 안전 실패 사례를 기록하고, 그 결과를 경쟁 정보 (competitive intelligence) 스프레드시트에 저장한 뒤, 이를 전혀 공개하지 않을 수 있습니다. 공개하는 행위 자체가 경쟁사에게 무료 감사 (audit)를 제공하는 꼴이 되기 때문입니다. Project Cannes는 이러한 격차를 무시할 수 없게 만듭니다.

부모와 소비자들에게 구조적 현실은 다음과 같습니다: AI 제품의 아동 안전 보호는 현재 독립적으로 검증된 표준이 아니라, 내부적인 경쟁 계산에 의해 뒷받침되는 마케팅 주장일 뿐입니다. 의무적인 외부 감사 (external audit) 체계는 존재하지 않습니다. 규제 기관은 챗봇 안전 시스템이 미성년자를 상대로 어떻게 작동하는지에 대해 실시간 가시성을 갖고 있지 않습니다. OpenAI, Google 또는 Meta가 안전 약속을 발표할 때, 그 약속은 스스로 보고하고, 스스로 정의하며, 스스로 집행하는 것입니다.

이러한 상황을 변화시키는 것은 법적 강제력을 가진 독립적인 감사 (independent auditing)입니다. 즉, 소환장과 맞먹는 접근 권한을 가진 제3자 평가 기관, AI 아동 안전 실패에 적용되는 의무적인 취약점 공개 타임라인, 그리고 기업이 알려진 위험을 묵인할 때 발생하는 책임 (liability) 등이 필요합니다. EU의 디지털 서비스법 (Digital Services Act)은 이미 대규모 플랫폼을 위한 이러한 구조의 일부를 스케치해 놓았습니다. 이 논리를 미성년자와 상호작용하는 AI 시스템에 명시적으로 확장하는 것이 브뤼셀의 규제 당국이 실행할 권한과 메커니즘을 모두 갖춘 다음 단계입니다. 미국 입법가들은 아직 둘 다 갖추지 못했습니다.

원문은 Newzlet에 처음 게시되었습니다.