이 글은 Andreas Kirsch가 작성했습니다. Andreas는 Google DeepMind의 선임 연구 과학자(senior research scientist)로, Gemini와 같은 프런티어 AI 모델(frontier AI models)을 연구하고 있습니다. 그 전에는 University of Oxford에서 베이지안 딥러닝 (Bayesian deep learning), 능동 학습 (active learning), 정보 이론 (information theory)에 관한 DPhil 과정을 마쳤으며, AI 안전 (AI safety)에 대해 오랫동안 관심을 가져왔습니다. 그는 UTAW (United Tech & Allied Workers)의 구성원이며, Google이나 DeepMind를 대표하는 것이 아닌 개인적인 자격으로 이 글을 작성합니다.[1] 더 자세한 내용은 blackhc.net에서 확인할 수 있습니다.

어떤 이야기들은 사실이 아니게 된 후에도 아주 오랫동안 살아남습니다.

수년 동안 DeepMind는 강력한 안전 문화와 신뢰에 기반한 훌륭한 리더십이 외부의 압력을 견뎌내기에 충분하다고 믿어왔습니다. Google이 4월 27일에 체결한 것으로 알려진 미국 국방부와의 "펜타곤 (Pentagon)" 계약은 지금까지 이 믿음에 대한 가장 중대한 시험대입니다.[3] 그리고 AI의 군사적 사용에 대해 절대적으로 반대하지 않더라도, 이에 대해 불안함을 느끼는 것은 당연합니다.

알려진 모든 사실을 고려할 때, 이 믿음은 실패했습니다. 좋은 사람들이라고 해서 실질적인 거버넌스 (governance)의 부재를 메울 수는 없습니다. 다른 모든 프런티어 연구소 (frontier lab)와 마찬가지로, Google DeepMind는 거부할 수 있는 권한을 가진 의미 있는 독립적 감독, 직원과 대중을 향한 투명성, 그리고 상업적 또는 정치적 압력이 명시된 원칙과 충돌할 때의 책임성을 포함하는 실질적인 거버넌스를 갖추어야 합니다. 직원들은 이를 요구하는 것을 두려워해서는 안 됩니다.

EFF: "교묘한 말장난 (Weasel Words)"

우리는 Google이 체결한 계약의 전체 문구를 알지 못하지만, 체결 내용에 대한 침묵과 보고된 계약 문구는 많은 것을 시사합니다.

Google은 "AI가 적절한 인간의 감독 (human oversight) 없이 국내 대량 감시나 자율 무기에 사용되어서는 안 된다는 민간 및 공공 부문의 합의를 준수한다"라고 밝히고 있습니다.[4] 하지만 "해서는 안 된다 (should not)"는 "해서는 안 된다 (must not)"가 아니며, "적절한 인간의 감독"은 누가 그것을 정의하느냐에 달려 있습니다. 만약 이러한 사용이 진정으로 금지되었다면, 단순히 그렇게 말하는 것만으로도 훨씬 더 적은 단어를 사용했을 것입니다.

The Information의 보도에 따르면, 보고된 계약서는 "모든 합법적인 정부 목적 (any lawful government purpose)"을 허용하며, 정부의 요청에 따라 안전 설정 및 필터를 조정하는 데 Google이 협조할 것을 요구하고, 해당 약관이 정부의 합법적인 운영 결정에 대해 Google이 통제하거나 거부권을 행사하는 것을 허용하지 않는다고 명시하고 있습니다.[5] 모델이 기밀 네트워크 (classified networks)에서 실행되면, Google은 모델이 어떻게 사용되는지에 대해 실제적인 가시성 (visibility)을 거의 갖지 못할 가능성이 높습니다.[6]

법률 및 AI 연구소 (Institute for Law and AI)의 변호사이자 선임 연구원인 Charlie Bullock는 The Information에 Google의 "~을 위한 것이 아니며, ~을 위해 사용되어서는 안 된다 (is not intended for, and should not be used for)"라는 문구는 "어떤 방식으로도 법적 구속력이 없다"고 말했습니다.[7] 전자 프런티어 재단 (Electronic Frontier Foundation)은 OpenAI의 유사한 계약 문구를 "교묘한 말 (weasel words)"[8]로 가득 차 있다고 묘사했습니다. 이는 직원들과 대중을 달래는 데 사용할 수 있지만, 집행 가능한 제약 (enforceable constraints)을 생성하지는 않는 언어를 의미합니다.

왜 Google은 단순히 그리고 솔직하게 다음과 같이 말하지 않았을까요: "우리는 미국 군대에 범용 AI (general-purpose AI)를 판매합니다. 정부는 이를 광범위하게 합법적인 목적으로 사용할 수 있습니다. 우리는 우리의 민주적 제도들이 경계선을 설정할 것이라고 믿지만, 우리 스스로 그 경계선을 강제하지는 않습니다." 거버넌스 (governance) 관점에서는 이에 동의하지 않더라도, 저는 그 정직함은 존중했을 것입니다.

대신 Google은 까다로운 질문들에 대한 답은 남겨둔 채, 제한적인 것처럼 들리는 언어를 사용합니다. 이는 옳은 일을 하는 것을 자랑스럽게 여기며, 이전에 대량 감시 (mass surveillance) 및 자율 무기 (autonomous weapons)에 대한 AI의 위험성을 경고해 온 기업으로서는 무책임해 보입니다.[9]

군사화된 AI, 대량 감시, 그리고 자율적 치안 유지

저는 2018년, 당시 아직 학계에 있을 때 자율 무기는 불가피하다고[10] 썼으며, 그 생각은 변하지 않았습니다. 미국과 그 동맹국들은 AI 군사화를 주저하지 않는 적대 세력과의 역량 비대칭 (capability asymmetry)을 단순히 허용할 수 없습니다. 우크라이나 전쟁은 저에게 그 사실을 더욱 확고히 해주었습니다.[11]

하지만 오늘날의 거대 언어 모델 (Large Language Models, LLMs)은 스스로 생사가 걸린 결정을 내릴 만큼 충분히 견고하지 (robust) 않습니다. 이들은 표적 결정 (targeting decisions)이나 자율 무기 (autonomous weapons)의 일부로 사용되어서는 안 됩니다.[12]

더 나쁜 점은 펜타곤 (Pentagon) 계약이 대규모 감시 (mass surveillance)를 배제하지 않으면서도, 자율 치안 유지 (autonomous policing)로 확장될 수 있는 경로를 열어두고 있다는 것입니다. 자율 무기에 대한 일부 반대 의견은 모델이 개선됨에 따라 약화될 수 있지만, 자동화된 대규모 감시와 자율 치안 유지는 더욱 위험해질 뿐입니다. 대규모 감시와 자율 치안 유지는 외국 적대 세력으로부터 우리를 방어하는 데 도움이 되지 않으며, 오히려 되돌리기 어려운 방식으로 권력의 균형을 시민으로부터 국가 쪽으로 이동시킬 수 있습니다. 간단히 말해, 이는 일반적인 군사적 AI 활용과는 다른 방식으로 민주 사회의 근간을 위협할 수 있습니다.

에이전트형 프런티어 모델 (Agentic frontier models)은 자동화된 감시에 있어 비약적인 변화를 가져옵니다. 기존 머신러닝 (ML) 시스템의 거친 패턴 매칭 (pattern matching)과 달리, 현재의 모델은 자율적으로 행동하면서 이전에는 불가능했던 방식으로 데이터 스트림을 결합하고 해석할 수 있습니다. 이를 통해 개인을 추적하고 그들의 동기를 추론하여 새로운 방식으로 사람들의 행동을 예측할 수 있습니다.[13]

슬프게도 정부가 이러한 새로운 역량을 확보할 때마다, 이를 다시 포기하는 경우는 드뭅니다. 9/11 테러 이후의 감시 권한은 10년이 지난 후에야, 그리고 대규모 위반 사례가 폭로된 후에야 부분적으로 축소되었습니다.[14] 우리는 자신도 모르는 사이에 강력한 자율 감시 장치를 불러올 수도 있습니다.

저에게 이러한 우려 사항은 개인적인 문제입니다. 저는 루마니아의 티미쇼아라(Timișoara)에서 공산주의가 몰락하기 직전에 태어났습니다. 부모님과 친척들로부터 공산주의 루마니아의 비밀 경찰이었던 공포의 대상, 세쿠리타테(Securitate) 치하의 삶이 어떠했는지 들어왔습니다. 학교에서는 동독의 슈타지(Stasi)에 대해 배웠습니다. 만연한 대중 감시(Mass surveillance)는 공개적인 폭력이나 강압에 의존하지 않고도 비인기 정권을 권좌에 유지시키고 반대 의견을 억압할 수 있게 해주었습니다.[15]

1989년 12월, 티미쇼아라의 시민들이 거리로 나섰습니다. 차우셰스쿠(Ceaușescu) 정권에 맞선 봉기가 성공할 수 있었던 데에는 군대가 결국 물러나기로 결정하고 더 이상 시위대를 향해 총을 쏘지 않기로 했기 때문인 측면이 큽니다. 이는 인간적인 결정이었습니다. 제복을 입은 사람들이 동료 시민을 죽이지 않기로, 즉 너무 지나친 것은 지나치다고 결정한 것입니다.[16]

폭력을 사용하여 시위를 억압하라는 지시를 받은 AI 시스템은 그러한 명령의 도덕적 무게를 느끼지 못합니다. 적절하게 정렬(Aligned)되지 않는 한, 시스템은 망설이지 않을 것입니다. 어떤 인간도 군중을 마주하고 명령에 복종하여 시위대에게 발포할지 여부를 결정해야 하는 상황에 놓이지 않을 것입니다.

오늘날의 법률은 군인들에게 명백히 불법적인 명령을 거부할 것을 요구합니다. 하지만 자율 군사 AI 시스템에 대해서는 그러한 법적 요구 사항이 있는지 알지 못합니다.[17]

이것은 공상 과학 소설이 아닙니다. 올해 초, ICE(미국 이민세관집행국)가 시위대와 관중 주변에서 얼굴 인식(Facial-recognition) 및 기타 기본적인 AI 기반 감시 도구를 사용했다고 보고되었습니다.[18] 이러한 도구들을 더 발전된 AI 시스템과 연결하는 것은 아주 작은 단계일 뿐입니다. 연방 차원의 AI 규제와 충분한 투명성, 그리고 독립적인 감독이 없는 상태에서 국내 법 집행에 이러한 시스템을 사용하는 것은 모든 이의 우려 사항이 되어야 합니다.

마지막으로, 대중 감시[19]에 대한 보호책이라고 주장되는 것들은 종종 "미국인 및 미국 국적자"에 초점을 맞추고 있습니다. 해외에 있는 비미국인에 대한 대중 감시는 그러한 보호 대상에 포함되지 않는 것으로 보입니다. 이는 미국인이 아닌 모든 사람, 그리고 당연히 자신의 정부가 다른 모든 사람을 어떻게 대우할지에 대해 관심을 가진 모든 미국인에게 우려를 불러일으켜야 하는 문제입니다.

전례 (The Precedent)

또 다른 문제는 이것이 단발성 사건이 아니라는 점입니다. 5월 1일, 펜타곤(Pentagon)은 SpaceX, OpenAI, Google, Nvidia, Microsoft, Amazon Web Services, Reflection AI, Oracle 등 8개 기업이 광범위한 "적법한 작전적 사용 (lawful operational use)"[20]을 위해 자신들의 모델이나 인프라를 기밀 시스템(classified systems)에 배치할 수 있도록 허용하는 개별 계약을 체결했다고 발표했습니다. 이와 유사한 조건을 거부한 유일한 선도적 AI 기업인 Anthropic은 그 대가로 공급망 리스크(supply-chain risk)로 선언되었습니다.[21]

작년 Anthropic의 원래 계약 내용을 보면 제한 사항을 두는 것이 가능하다는 것을 보여주었지만, 이후 Anthropic에 가해진 보복은 이제 그러한 제한을 고집하는 데에는 대가가 따른다는 것을 보여주었습니다.[22] 모든 이에게 더 약화된 조건을 요구하기로 한 결정은 하나의 선택이었지만, 그 조건을 수용하기로 한 결정 또한 하나의 선택이었습니다. OpenAI를 시작으로 이 기업들은 자신들의 결집된 영향력을 사용하여 더 강력한 보호 조치를 요구할 수도 있었습니다.

대신, 이 불행한 전례는 나중에 바꾸기 어려울 것입니다. 이 계약들은 더 강력한 모델들에 대한 내일의 협상을 위한 출발점입니다. Google은 이미 오늘날의 계약 조건을 "업계 표준 관행 및 약관 (industry-standard practices and terms)"[23]이라고 부르고 있습니다. 모델이 더 유능해지고 에이전트적(agentic)인 특성을 갖게 될수록, 정부는 연구자와 엔지니어들이 모델의 한계와 리스크에 대해 무엇을 알고 있는지와 관계없이 제약 없는 광범위한 접근을 원할 것입니다.

상업적 또는 국가 안보적 이익 때문에 통제권을 포기해야 한다는 압박이 더욱 커질 때 Google은 어떻게 행동할까요? DeepMind에게 있어, 이는 중대한 거버넌스(governance) 문제를 드러냅니다.

놀라운 일은 아니다 (No Surprise)

Google의 공개적인 입장과 실제로 체결된 것으로 보고된 내용 사이의 불일치는 경악스럽습니다. 하지만 공개된 기록을 살펴보면 이런 일이 발생한 것이 놀라운 일은 아닙니다.

이것은 무엇보다도 구조적인 문제입니다. 저는 Larry Page, Sergey Brin, Sundar Pichai, Demis Hassabis, 또는 관련된 그 누구도 나쁜 사람이라고 믿지 않습니다. 그렇지 않았다면 저는 결코 합류하지 않았을 것입니다.

하지만 소수의 사람들이 AGI (인공 일반 지능)와 같이 강력한 시스템에 대한 궁극적인 안전장치가 될 수는 없습니다. 유난히 선의를 가진 리더들조차 결국 자신의 원칙을 저버리거나, 영향력을 잃거나, 투표에서 밀려나거나, 은퇴하거나, 교체되거나, 혹은 국가 안보의 긴급성이 이전의 윤리적 약속보다 더 중요하다는 결론에 도달할 수 있습니다. Elon Musk는 창립자의 신념과 공개적인 약속이 시간이 흐름에 따라 극적으로 변할 수 있다는 극단적인 사례입니다. 국가 안보의 압박은 저항하기 어렵고, 모든 기업이 다른 기업들을 지목하며 선택의 여지가 없었다고 그럴듯하게 변명할 수 있는 '바닥을 향한 경주 (race to the bottom)' 상황에서는 자발적인 약속을 지속하기가 매우 어렵습니다.

OpenAI나 Anthropic과 달리, Google은 정부의 압력에 노출될 수 있는 훨씬 더 넓은 공격 표면 (attack surface)을 제공합니다: 검색, 광고, 클라우드, Android, YouTube, 인프라, 그리고 그 외 많은 사업 분야가 이에 해당합니다. 자신의 목표를 위해 법을 뒤로 미룰 의사가 있어 보이는 행정부 하에서는,[24] 저항하지 않고 이 시기가 지나가기만을 바라는 것이 더 안전해 보일 수도 있습니다.

이것이 바로 DeepMind가 Google과 매우 강력하게 얽혀 있는 것이 윤리적 약속을 지키는 것을 더 어렵게 만드는 정확한 이유입니다. 그리고 이는 오랫동안 알려진 사실입니다.

Sebastian Mallaby의 최근 저서인 The Infinity Machine[25]에 따르면, 2014년 Google이 DeepMind를 인수할 당시 DeepMind의 창립자들은 윤리와 안전이 거래에 내재되어야 한다고 주장했습니다. 즉, 군사적 활용은 금지되어야 하며, 배포 관련 문제는 Google의 창립자들만이 아니라 신뢰할 수 있는 독립적인 감독 위원회 앞에 놓여 윤리 및 안전 검토 프로세스를 거쳐야 한다는 것이었습니다.

Mallaby는 Elon Musk와 Reid Hoffman이 포함되었던 이 독립 감독 위원회의 2015년 첫 비공식 회의에 대해 설명합니다. 그 회의는 명확한 합의나 결론 없이 끝났습니다. 얼마 지나지 않아 Elon Musk와 Reid Hoffman의 도움으로 OpenAI가 설립된 후, Mallaby는 당시의 감독 시도가 사실상 포기되었다고 설명합니다. 2016년, DeepMind Health는 독립 검토 위원회(independent review board)를 설립했으나, 2018년 Google Health로 흡수되면서 폐지되었습니다.[26]

마침내 2018년, Google은 Project Maven에 대한 내부적 반발 이후, 국제 규범을 위반하는 무기 및 감시 활동을 명시적으로 제외하는 내용을 담은 독자적인 AI 원칙(AI principles)을 제정했습니다. 이러한 제외 조항들은 2025년 2월에 폐기되었습니다.[27]

DeepMind가 일반적인 Google 사업부와 다르게 기능할 수 있도록 뒷받침했어야 할 이러한 공개된 거버넌스(governance) 메커니즘 중 그 어떤 것도 원래의 형태로 살아남지 못했습니다. 단 하나도 말입니다.

초기에 DeepMind의 리더십은 이를 수동적으로 받아들이지 않았습니다. 2016년부터 그들은 AGI 연구를 상업적 압력으로부터 격리하기 위해 더 독립적인 기업 구조를 협상하려 시도했습니다. Mallaby는 이러한 독립성을 확보하기 위한 다년간의 시도였던 "Project Mario"[28]를 설명하는데, 이는 3-3-3 이사회(DeepMind 측 3명, Alphabet 측 3명, 독립 위원 3명)를 제안하며 Larry Page, Sundar Pichai, David Drummond와 수년간 협상을 벌였던 과정입니다.