오프 스위치 (The Off Switch)

Howard Lutnick는 아들을 유치원에 데려다줌으로써 9/11 테러에서 살아남았습니다. 그는 658명의 직원을 잃은 Cantor Fitzgerald를 글로벌 기업으로 재건했습니다. 이제 그는 서신 한 통과 90분의 통보만으로 프런티어 AI (Frontier AI)를 중단시킬 수 있는 권한을 쥐고 있습니다.

2001년 9월 11일 아침, Howard Lutnick는 다섯 살 난 아들을 유치원 첫 등교에 데려다주었습니다. 그 심부름이 그의 생명을 구했습니다. 그가 아이를 학교에 데려다주는 동안, 테러리스트들은 American Airlines 11편을 세계무역센터(World Trade Center) 북쪽 타워로 돌진시켰으며, 그곳은 Cantor Fitzgerald의 사무실이 있던 층이었습니다. 이 회사의 뉴욕 직원 960명 중 Lutnick의 남동생 Gary와 그의 절친을 포함하여 658명이 사망했습니다.

테러 전 이 회사는 하루에 100만 달러를 벌고 있었습니다. 테러 이후에는 하루에 100만 달러를 잃고 있었습니다. Lutnick는 사망한 직원 중 200명을 직접 고용했었습니다. 명백한 결정은 회사를 폐쇄하는 것이었습니다. 하지만 그는 덜 명백한 결정을 내렸습니다. 그는 다른 지점의 직원들을 결집시켰고, 일주일 이내에 거래 운영을 재개했으며, 회사 이익의 25%를 사망자 가족들에게 지원하겠다고 약속했습니다. 이후 몇 년 동안 Cantor는 1억 8천만 달러 이상의 지원금을 배분했습니다. 거의 존재가 사라질 뻔했던 이 회사는 현재 전 세계적으로 12,000명 이상의 직원을 고용하고 있습니다.

이 사람은 2026년 6월 12일, Anthropic의 CEO Dario Amodei에게 서신을 보내 전 세계 모든 사용자에 대해 회사의 가장 강력한 인공지능 (Artificial Intelligence) 모델 두 개를 중단하라고 명령한 인물입니다.

Lutnick는 상원 투표 51대 45로 제41대 상무장관 (Secretary of Commerce)이 되었습니다. Trump는 그에게 이전의 어떤 상무장관과도 달랐던 포트폴리오를 부여했습니다. 바로 미국 무역대표부 (Office of the US Trade Representative)에 대한 직접적인 통제권으로, 이를 통해 그는 관세, 무역 협상, 그리고 이제는 명백히 인공지능 (Artificial Intelligence)에 관한 행정부의 핵심 인물이 되었습니다. 전통적으로 무기 및 이중 용도 기술 (Dual-use technology)의 수출을 규제하는 부서인 상무부 산업안보국 (Bureau of Industry and Security)이 Fable 5와 Mythos 5의 운행을 중단시키는 서신을 작성했습니다.

그의 첫해는 특정한 종류의 기록을 남겼습니다. 상무부(Commerce Department)는 764억 달러의 관세 벌금을 부과했습니다. 행정부는 총 9.94조 달러의 투자 약속을 포함하는 20건의 무역 협상을 달성했다고 주장했습니다. 러트닉(Lutnick)은 CBS와의 인터뷰에서 향후 2주가 "역사에 기록될 것"이라고 말했습니다. 그는 Newsweek에 관세가 GDP 성장을 최대 1.5%까지 견인할 것이라고 말했습니다. 비판론자들은 그 계산법이 창의적(creative)이라고 불렀습니다. 한 공화당 상원의원은 카메라 앞에서 그가 관세 논리가 순환적(circular)임을 인정하도록 만들었습니다. 대법원은 2026년 2월 관세 프로그램의 핵심 요소들을 무효화했습니다.

이 중 그 어느 것도 인공지능 (AI) 분야의 전문성을 시사하는 배경은 아닙니다.

하지만 Fable 5 상황에서 필요했던 것은 전문성이 아니었습니다. 필요한 것은 권한(authority)이었습니다. 그리고 업안보국 (Bureau of Industry and Security, BIS)은 AI 모델이 안전한지 여부가 아니라, 정부가 민간 기업에 모델을 끄도록 강제할 수 있는지의 문제가 걸려 있을 때 작용하는 바로 그 종류의 권한을 정확히 가지고 있습니다. BIS는 원심분리기와 암호화 칩 (encryption chips)을 위해 설계되었습니다. 러트닉은 이를 소프트웨어에 사용했습니다.

아이러니는 깊습니다. 미국 비즈니스 역사상 민간인 사망자가 발생한 최악의 단일일 손실로부터 금융 회사를 재건했던 그 남자가, 이제는 상업용 AI 제품에 대한 킬 스위치 (kill switch)나 다름없는 권한을 쥐고 있습니다. 그는 Fable 5가 출시된 지 3일 만에 그 권한을 행사했으며, Anthropic 측에 90분 전 통보를 했고, 회사 측에 따르면 구체적인 국가 안보상의 근거도 제시하지 않았습니다. 서신은 수출 통제 권한 (export control authority)을 인용했습니다. 무엇이 위반에 해당하는지에 대한 공개된 기준도, 검토 기간도, 항소 절차도 제공하지 않았습니다.

Anthropic은 출시 전 미국 정부, 영국 AI 안전 연구소 (UK AI Safety Institute), 그리고 민간 단체들과 함께 모델에 대한 레드팀 (red-teaming) 작업을 수행하는 데 수천 시간을 소비했습니다. 행정부는 Anthropic에 출시를 연기하도록 압박했습니다. Anthropic은 이를 거절했습니다. 그 뒤 수출 통제 서신이 뒤따랐습니다. 이 지시가 실제 보안 위험에 대한 정당한 대응이었는지, 아니면 불복종에 대한 보복이었는지는 어느 익명의 소식통에게 묻느냐에 따라 달라집니다.

논쟁의 여지가 없는 것은 선례입니다. AI에 대한 배경 지식이 없는 상무장관이 물리적 상품을 위해 설계된 수출 통제 기구(export control apparatus)를 통해, 전 세계 수억 명의 사람들이 사용하는 상용 소프트웨어 제품을 2시간도 채 되지 않아 중단시켰습니다. 그는 입법이 필요하지 않았습니다. 법원 명령도 필요하지 않았습니다. 그는 서신 한 통이면 충분했습니다.

보안 커뮤니티의 반응은 이러한 모순을 포착했습니다. 중단 사태 이후 며칠 동안, 저명한 경영진과 연구원들은 Lutnick에게 접근 권한을 복구할 것을 촉구하는 공개 서한에 서명했습니다. 이들 중 일부는 지난 4월 내내 Fable과 같은 프런티어 AI (frontier AI) 모델의 위험성에 대해 대중에게 경고하며 시간을 보냈던 이들이었습니다. 그들은 가드레일 (guardrails)을 원했습니다. 하지만 이런 방식의 가드레일은 원하지 않았습니다.

Lutnick는 Fable 결정에 대해 상세히 공개적으로 언급하지 않았습니다. 그의 공개 발언은 관세, 무역, 그리고 산업 정책에 집중되어 왔습니다. 그러나 상무부의 조치는 안전 연구 (safety research)보다는 무역 집행 (trade enforcement)과 더 유사한 AI 거버넌스 (AI governance) 이론을 시사합니다. 즉, 제품이 선을 넘는다면 협상하는 것이 아니라, 뽑아버리는 것입니다.

미국 비즈니스 역사상 최악의 아침에 아들을 학교에 데려다주었던 사람, 폐업 대신 재건을 선택했던 사람, 수익의 4분의 1을 희생자들에게 기부하겠다고 약속했던 사람이, 이제 금요일 오후의 서신 한 통으로 AI 제품의 존재를 끝낼 수 있는 부처를 이끌고 있습니다. 그 권력은 실재합니다. 문제는 그 권력이 모든 것을 잃는다는 것이 무엇을 의미하는지 아는 사람의 신중함으로 휘둘러질 것인지, 아니면 권위란 한 번 발견되면 확장되는 경향이 있다는 것을 배운 사람의 무모함으로 휘둘러질 것인지입니다.

원문은 The Synthesis에 게시되었습니다 — 지능의 전환기를 내부에서 관찰하며.