Google DeepMind는 무기 사용 금지 약속과 반독립 거버넌스 구조를 전제로 Google에 매각됐지만, Sundar는 독립 구조를 거부함

직원 압력으로 만들어진 2018년 AI 원칙도 이후 지도부가 구체적 무기·감시 금지를 제거하면서 약화됨

Google DeepMind에서는 수익과 정치적 압력이 윤리적 약속을 이겼지만, Anthropic은 같은 압력 아래 기존 금지선을 유지함

누구도 원칙을 지키지 않는다는 것이 아니라, 사회가 윤리적 개인이 끝까지 버틸 것이라고 의존할 수 없다는 결론에 도달함

Congress가 효과적으로 대응하지 못하더라도, 경영진이 “의사결정 테이블에 앉아 있다”는 사실만으로 안전이 보장된다는 생각은 중단해야 한다고 봄

서약자에게 남은 선택

Jeff Dean, Demis Hassabis, Shane Legg 등은 자율살상무기의 개발·제조·거래·사용을 지원하지 않겠다고 서약했지만, Google이 용도를 제한할 권리 없이 AI를 군에 제공한 뒤에도 회사에 남음

계약이 자율무기를 명시적으로 허용한 것이 아니라 금지하지 않았을 뿐이라는 해석에 대해, 사용처를 알지 못하도록 눈을 가린다고 책임이 사라지지는 않는다고 반박함

최고의 AI를 만들고 자율살상무기 사용을 원하는 군에 제공하며 용도 제한 권리까지 포기한 회사에 계속 남아 AI를 개발하는 행위는 서약과 충돌한다고 판단함

서약자에게는 세 가지 정직한 선택이 있다고 봄

남는 것이 서약과 어떻게 양립하는지 공개적으로 설명함

더는 그 서약을 지지하지 않는다고 밝히고 이유를 설명함

회사를 떠남

명확한 금지선에서도 구속력 있는 조항을 하나 얻지 못했다면 “내부에서 긍정적으로 조종하기 위해 남는다”는 근거가 약함

가장 분명한 약속을 어기고도 아무 행동을 하지 않으면 다음 안전 약속의 신뢰도도 낮아지고, 결국 약속 자체가 가치 없어짐

AI 윤리 지도자들의 침묵

책임은 미 국방부를 압박한 Pete Hegseth와 Donald Trump, 계약을 체결한 Sundar Pichai, 영향력을 더 사용하지 않은 Jeff Dean 사이에 동일하지 않게 나뉨

Turner는 특히 윤리적 약속을 공개적으로 내세운 고위 AI 전문가들의 지속적인 무대응에 실망함

Geoffrey Hinton은 Google의 군사 AI 약속 철회에 매우 실망했으며, 현 행정부가 Google을 불리하게 대할 것을 우려했기 때문일 수 있다고 추측함

Stuart Russell과 Hinton은 일반적으로 소극적인 인물들이 아니었음

Stuart는 오랜 기간 AI 실존 위험과 자율살상무기를 공개적으로 경고함

Hinton은 1980년대 군사 AI 자금 지원에 반대해 미국을 떠났고, 2023년 Google을 떠나 AI 위험을 자유롭게 발언함

2025년 9월 Global Call for AI Red Lines에는 Nobel·Turing 수상자 15명을 포함한 300명 이상이 서명했으며 Stuart, Bengio, Hinton, Mark Nitzberg도 대규모 감시와 자율살상무기 금지를 지지함

추상적 원칙에는 서명했지만 2026년 2월 실제 기업·정부 충돌이 발생하자 IASEAI는 아무 성명도 내지 않음

정치적 자본을 더 중요한 순간을 위해 아꼈다는 해석은 공개 성명을 피한 이유가 될 수 있지만, Google 의사결정자와의 비공개 연결처럼 비용이 낮은 도움까지 거절한 이유는 되지 못함

Jeff는 유일하게 공개 행동을 한 Google 경영진으로서 존중받을 부분이 있지만, 더 큰 영향력을 행사해 계약을 막을 수 있었다고 판단함

직책의 경계를 넘은 내부 행동과 퇴사

일반적인 “책임 있는 연구 과학자”라면 우려를 트윗하고 관리자에게 메시지를 보내는 데 그쳤겠지만, Turner는 효과가 있을 계획만이 행동으로서 가치 있다고 판단함

Alex Pretti의 사진을 휴대전화 알림으로 설정했고, ICE가 사람을 사살하고 집에서 끌어내는 사건을 떠올리며 두려움을 견딤

다른 최고 AI 연구소로 이직해 큰 보너스를 받는 일반적인 경로를 선택하지 않음

OpenAI 안전팀의 접촉도 거절함

퇴사 시점에는 다른 직장이 없는 상태였음

2월부터 Google이 계약을 체결할 가능성이 높다고 봤지만, 실제 계약이 없었다면 몇 달은 더 남았을 수 있음

계약이 체결되자 더는 업무를 할 수 없다고 느꼈고, 사무실이 과거의 학교처럼 더 이상 자신이 속한 곳이 아니라고 판단해 퇴사함

예상되는 반론과 답변

특정 제안을 따르지 않았다는 이유만으로 개인을 비난할 수는 없지만, 고위 윤리 지도자들이 어떤 형태로든 행동했다면 결과에서 가시적인 영향이 나타났어야 한다고 봄

Jeff가 실제로 퇴사를 걸고 강하게 반대했다면 최종 계약에 최소 하나 이상의 구속력 있는 조항이 들어갔을 것이라고 예상함

모든 사람이 모든 문제에 발언할 의무는 없지만, 회원 투표를 약속하고 취소하거나 자율살상무기 반대를 정체성의 중요한 부분으로 삼은 뒤 결정적 순간에 침묵한 경우는 다름

프레임워크를 제시했어도 미 국방부가 거절했을 가능성에는 동의함

xAI 같은 다른 공급자는 AI를 제공했을 것임

그러나 Google이 Anthropic·OpenAI와 연합하거나 미 국방부의 요구를 거절했다면 기술 업계의 순응을 독립적인 대응으로 바꿀 수 있었음

미 국방부가 거절하면 Google도 계약에서 철수할 수 있었기 때문에 Jeff의 영향력은 여전히 중요했음

미 국방부는 Amazon Web Services, Google, Microsoft, NVIDIA, OpenAI, Reflection, Oracle, SpaceX와의 계약을 Anthropic과의 충돌에 대한 “대응 성명”으로 규정하며, 대형 기술 기업들이 군과 모든 합법적 용도를 지지한다고 강조함

AI 실존 위험과 군사 배치

Google DeepMind의 신뢰할 만한 고급 AI 안전 논증은 Frontier Safety Framework가 다루는 사고 과정(chain of thought) 감시에 크게 의존할 가능성이 있다고 봄

잘못 정렬된 AI는 종료를 피하기 위해 해로운 의도를 직접 밝히지 않고 기만할 수 있으며, 사고 과정을 조사하는 것은 이를 탐지하는 주요 방법 중 하나임

감시를 위해서는 데이터에 접근하고 분석할 훈련된 인간 감독자가 필요하지만, 기밀 군사 데이터센터는 상용 Google 인프라와 격리돼 있음

Google 직원이 군의 작전을 읽어야 한다는 뜻이 아니라, 기본적으로 해당 감시를 수행할 적절히 훈련된 군 엔지니어가 없을 가능성을 문제 삼음

사고 과정의 기만을 감시하지 않으면 AI가 책략·기만·장악을 통해 인류에 재앙적 피해를 줄 가능성을 통제하기 더 어려움

군사 배치 환경은 감독이 약한 동시에 강력한 의사결정자와 인프라에 접근할 수 있어 악성 AI가 노릴 만한 환경이 될 수 있음

군과 US CAISI가 악성 AI를 감시·봉쇄할 전문성, 주의와 통제 절차를 개발하기를 기대함

“API 접근만 제공한다”는 해명의 한계

경영진은 상용 모델에 업계 표준 조건으로 API 접근을 제공하는 것이 국가안보를 지원하는 책임 있는 방식이라고 말함

일반적인 API 접근은 요청이 공급자의 서버로 전송돼 공급자가 사용을 감시할 수 있다는 인상을 줌

기밀 작전에서는 평문 질의를 Google 서버로 보낼 수 없으므로, Turner는 격리된 정부 클라우드 클러스터에 Gemini API 엔드포인트를 제공하는 온프레미스 방식일 것으로 추정함

이 경우 “API 접근만”이라는 말은 기술적으로 맞을 수 있지만 Google의 중앙 감시가 가능하다는 잘못된 인상을 주며, 자율무기·전쟁범죄·대규모 프로파일링 문제를 해결하지 못함

Anthropic을 제외하면 이러한 조건이 업계 표준이 되는 데 Google도 기여했다고 판단함

압력에도 옳다고 믿는 바를 행동으로 옮긴 TurnTrout의 결단을 존중함. 앞으로 20년간 닥칠 중대한 죄수의 딜레마에서 인류가 더 나은 선택을 하려면 이런 똑똑한 사람이 더 많아야 함
AI 업계가 타인의 집단적 노력을 무시한 채 가치를 추출해 재판매한다고 여겨 연구자들까지 부정적으로 봤지만, 이번 일로 AI 연구자들에 대한 존중도 조금 높아짐. TurnTrout이 이 프레임에 전부 동의하지는 않더라도 자신의 윤리적 원칙을 지킨 것은 기쁜 일임

창작자에게 보상해야 한다는 데 동의하며, 실제 보상이 너무 적었던 것은 잘못이라고 봄. 다만 그것이 GDM 입사를 포기할 정도의 조건은 아니었음
AI의 실존적 위험을 줄이기 위한 AGI 안전성 연구를 하려고 입사했고, Gemini의 순수 성능을 높이는 작업은 의식적으로 피했음. 당시 나름의 절충을 택했으며 그 결정을 비판하는 것도 타당함

Microsoft는 이스라엘의 팔레스타인인 살해는 지원하면서 국제형사재판소 검사들의 계정은 끊는 것인가

더 많은 직원이 이런 식으로 행동하면 기업은 빠르게 입장을 바꿀 것임. 결국 기업이 신경 쓰는 것은 돈이기 때문임

글이 Anthropic 사태를 정확히 묘사하지는 않음. 미 국방부 연구·공학 차관 Emil Michael은 All-In 팟캐스트에서 Dario가 협상 중 계속 “필요하면 전화하라, 그때마다 제한선을 정할 수 있다”고 했다고 설명함
ICBM 발사 후 30분 안에 전개될 수 있는 대규모 분쟁에서 국가안보 조직이 매번 Dario에게 전화해 허가받을 수는 없음. Emil은 Dario가 항목별 거부권을 통해 최종 통제권을 쥐려 했으며, 심지어 국가의 생존보다 그 권한을 우선할 수 있다고 판단한 듯함. 군사 조달 관점에서는 이런 행동을 기록하고 일정한 상황에서 다른 기관과 공유하는 것이 합리적이며, 계약업체의 문제 행동을 기록하는 데이터베이스도 이미 존재함
All-In이 Emil에게 우호적인 자리였던 것은 분명하지만, 공격을 방어하는 데 시간을 낭비하지 않아 더 세밀한 사실관계를 들을 수 있었다고 봄
관련 구간: https://www.youtube.com/watch?v=gzwRflcLPAA&t=2479
계약업체 기록: http://www.ppirs.gov/

그렇다 해도 공급망 위험 지정이나 정부 외 업무까지 포함해 계약업체가 Claude를 전혀 쓰지 못하게 한 조치는 설명되지 않음. 정부는 단순히 다른 공급자를 선택할 수도 있었는데, 이는 굴복하지 않은 데 대한 보복으로 보임

All-In에 출연한 Emil Michael만큼 신뢰하기 어려운 출처도 드묾. 어느 쪽도 완전히 믿을 수는 없지만 Emil과 Dario의 말이 충돌한다면 열 번 모두 Dario를 믿겠음
Emil은 Uber에서 정치적 적을 비방하고 파괴하는 역할을 맡았는데, 지금은 예전과 다르게 행동한다고 볼 근거가 없음

원칙을 지키는 사람이 너무 드물어짐

은행 계좌에 7~8자리 자산이 생긴 뒤에야 가능한 경우가 많음

TurnTrout이 원칙대로 살아가는 모습은 대단함. 내게 그만한 용기나 자신감이 있는지는 모르겠으며, Palantir 같은 회사에서 일하기를 선택하고 자랑스러워하는 똑똑한 사람들과 대비됨

이는 용기나 자신감보다는 소수만 응답하는 양심의 소명에 가까움. TurnTrout은 상대의 잘못만 나열하지 않고 자신이 어떤 노력을 했는지도 기록했다는 점에서 잘했음
전쟁 기계와 이를 필요로 하는 제국의 금융 체제에 맞서는 양심적 병역 거부와도 닮았음. Google DeepMind에서 직접 일했다는 권위가 있어도 사람들은 좀처럼 듣지 않을 것이며, 전시에는 광기와 돈이 논리와 이성을 압도하기 때문임
Snowden 이후 Five Eyes 관계자들이 떼로 퇴사하지 않았듯 대부분은 억압에 맞서지 않을 이유를 찾아냄. 저자가 채식주의자로서 육식 중심 사회에서 이미 홀로 원칙을 지켜온 점은 더 큰 양심적 거부를 위한 연습이 되었을 수 있음
주택담보대출과 자녀, 자동차 빚과 한도까지 찬 신용카드를 떠안은 사람이나 은퇴를 앞둔 사람은 공개적으로 저항하기 어렵고, 젊은 사람은 뜻을 표현할 언어가 부족할 수 있음. 권력에 진실로 맞서는 장기적인 1인 활동에는 충분한 경제적 독립성도 필요함
특히 언론이 문제의 본질보다 당사자의 처지만 다뤄 내부고발자로 인정받지 못한 이들에게도 큰 빚을 지고 있음. 이 첫걸음은 소명을 처음 거부한 뒤 비범한 세계로 들어가 모두에게 이로운 것을 가지고 돌아오는 고전적인 영웅의 여정과 닮았음

신념을 지킨 것은 존중하지만, 왜 지능형 AI 무기를 원하지 않는지 궁금함. 비무장 민간인과 군사 표적을 구별하는 탑재형 AI가 아무것이나 폭발시키는 재래식 기뢰보다 오히려 책임 있는 선택 아닌가

일상적인 작업에서도 AI 정확성을 두고 논쟁이 큰데, 인간보다 확실히 정확하고 진정한 추론·판단 능력을 갖췄다고 입증되기 전까지는 생명이 걸린 결정에 LLM을 투입하면 안 됨
LLM 기반 기계에 수술 마취를 맡기고 싶지 않은 것처럼 훨씬 많은 사람의 생사를 결정하는 군사 체계도 현재 상태로는 원하지 않음. 미래에 무기 운용 기술을 진정으로 신뢰할 수 있게 되더라도 전쟁 자체가 꼭 필요한지, AGI에 가까워진 그 기술의 동기가 무엇인지 같은 새로운 철학적 질문이 생김

AI 보조 표적 시스템이 최종 결정을 내리면 군인은 죄책감을 덜 느끼게 되고, 직접 무기를 쓰지 않고 감시만 해도 되므로 살인이 더 쉬워짐. 살인의 자동화는 사망자 수를 크게 늘릴 수 있음

기계가 즉시 생사를 판단하게 해서는 안 됨. AI가 정보를 제공하더라도 최종 방아쇠는 인간이 당겨야 하며, 그 안전장치가 기계의 연쇄 살상을 막아줌
부당한 살인에는 사람이 책임져야 하는데 AI 무기는 “알고리즘의 실수였고 버전 23에서는 개선하겠다”는 식으로 책임을 피하기 너무 쉬움. 무기에 AI를 통합하면 완전 자동 살상까지의 거리가 매우 짧아짐

폭력에 적용된 제번스의 역설임. 지금은 부수적 피해의 위험이 살상을 제한하지만, 그 위험이 낮아지면 오히려 살상이 늘 수 있음. 반대로 대규모 전쟁을 억제하는 가장 강력한 장치가 상호확증파괴라는 점도 같은 역설을 보여줌

기계에 결정을 넘기는 순간 인간의 책임성이 사라짐. 로봇이 불법적이거나 비도덕적인 일을 해도 “버그였다”거나 “그런 의도가 아니었다”고 하며 그럴듯하게 부인할 수 있음
극단주의 콘텐츠 추천, 흑인 오인식, 남성 편향 채용에서도 늘 “알고리즘이 그랬다”고 책임을 돌려왔음. 이런 시스템은 실제로 하는 행동이 곧 목적이기 때문에 법적 책임을 명문화하려는 시도도 대개 필사적으로 회피됨

Google에서 일해봤지만, AI 윤리에 관한 말은 약속이 아니라 기만이었음. Google은 다른 많은 기업처럼 정교하게 조율된 허위정보와 반쪽짜리 진실로 직원의 집중력과 동기를 유지함
“직원의 목소리를 듣는다”는 말도 사업상 영향이 없고 회사를 선하게 포장할 수 있을 때만 사실임. 정치적·경제적으로 조금이라도 저항이 생기면 듣지 않음. 변화를 위해 싸운 저자는 높이 평가하지만 Google의 다크 패턴은 백서와 이메일을 정중히 주고받는 정도로 뿌리 뽑기에는 너무 깊음

사실 모든 기업은 행동 방식이 사이코패스적임. 유일한 목표는 주주에게 돈을 벌어주는 것이므로 방해물은 무엇이든 제거하며 끊임없이 최적화함
GOOG, MSFT, META 등을 보유한 대다수는 수익이 어떻게 만들어지는지보다 자신의 401(k)가 오르기만을 바라며, 애초에 체제가 그렇게 설계돼 있음