AI가 너무 위험하다고 판단하는 기준은 누가 결정하는가?

오늘의 Decoder 에피소드에서는 _The Verge_의 선임 AI 기자인 Hayden Field를 게스트로 모셨습니다. Hayden이 프로그램에 출연할 때는 대개 AI 세계에서 무언가 잘못된 일이 발생했을 때입니다. 지난 주말, 그 일은 Anthropic, Trump 행정부, 그리고 Anthropic의 새로운 AI 모델인 Fable 5가 복잡하게 얽힌 사건이었습니다.

Anthropic이 Fable을 대중에게 공개한 지 채 일주일도 되지 않은 금요일, 미국 정부는 해당 신규 모델뿐만 아니라 Fable의 기반이 되는 Mythos 모델에 대해서도 수출 통제 (export controls)를 부과하겠다고 밝혔습니다. 이러한 통제 조치는 외국 국적자들을 제한하며, 심지어 미국 내 Anthropic에서 근무하는 인원들조차 이 모델들에 접근하는 것을 금지했습니다. 이에 Anthropic은 접근을 제한하고 정부의 명령을 합리적으로 준수할 수 있는 다른 방법이 없을까 우려된다며, Fable과 Mythos를 모든 사용자로부터 오프라인 상태로 전환했습니다.

짐작하시겠지만, 이 모든 상황은 거대한 혼란 상태입니다. Hayden은 지난 금요일에 이 모든 일이 어떻게 전개되었는지, 그리고 정확히 무슨 일이 일어났으며 어떻게 해결될 수 있을지를 파악하기 위해 양측이 주말 내내 얼마나 분투했는지에 대해 _The Verge_에 환상적인 상세 보고 (play-by-play)를 막 발표했습니다. 그래서 저는 그녀를 모시고 타임라인과 이 모든 것이 무엇을 의미하는지 자세히 들어보고 싶었습니다.

상황은 계속 진행 중입니다. 이 에피소드를 녹음하고 있는 화요일 현재, Fable은 여전히 오프라인 상태입니다. 실제로 Claude를 실행하면 채팅창 창 바로 위에 "Fable 5는 현재 사용할 수 없습니다"라는 메시지가 뜹니다. 하지만 Hayden의 설명에서 들으시겠지만, Fable이 이번 주에 다시 온라인으로 복구되든 아니든, 정부와 Anthropic 사이의 갈등이 불러온 파장은 기술 산업과 미국의 AI 규제 체제 (AI regulatory regime)에 광범위한 영향을 미칠 것입니다.

여기에는 큰 아이러니도 존재하며, Hayden과 제가 그 부분에 대해서도 논의하는 것을 듣게 될 것입니다. Anthropic은 AI가 곧 위험할 정도로 강력해질 수 있으며, 정부가 AI 규제에 대해 조속히 진지하게 대응해야 한다고 수년간 주장해 왔습니다. 그런데... 막상 상황이 이렇게 전개되자, Anthropic은 현재의 흐름을 반가워하지 않고 있습니다.

그리고 이제 모든 이들 — 특히 중국 정부가 — 미국의 AI 규제 접근 방식이 진지한 안전 프레임워크 (safety framework)의 형태를 갖추게 될지 지켜보고 있습니다. 아니면 단순히 트럼프 행정부에 굴복하지 않는 기업과 개인들을 공격하기 위해 백악관이 사용하는 또 다른 무기가 될 뿐인지 말입니다. 제가 말씀드렸듯이, 정말 엉망진창인 상황입니다.

자, 이제 _Verge_의 선임 AI 기자 Hayden Field와 함께 Claude Fable 금지 조치 및 새로운 AI 규제 환경에 대해 이야기해 보겠습니다. 시작하죠.

이 녹취록은 길이와 명확성을 위해 가볍게 편집되었습니다.

Hayden Field 기자님, _The Verge_의 선임 AI 기자이신데요. _Decoder_에 다시 오신 것을 환영합니다.

감사합니다. 이 자리에 오게 되어 기쁩니다.

Hayden, 이곳에 오면 항상 혼란스럽더군요. 제가 깨달은 바입니다.

정말 그렇습니다. 제 규칙은 여전히 유효한데, 바로 '언제나 금요일'이라는 점입니다. 일은 항상 금요일에 터지기 마련이고, 이번에도 다르지 않았습니다.

특히 정부의 AI 규제와 관련해서는, "만약 금요일에 모든 게 미쳐버린다면, 우리 모두 주말 내내 고민해야 할 것이다"라는 상황이 실제로 벌어집니다. 그리고 트럼프 행정부 내내 기본적으로 이랬던 것 같습니다. 월요일이 되면 이를 다시 수습하기 위해 즉각적인 혼란이 시작되죠.

네, 정확합니다. 정말 미친 것 같아요. 주말 내내 모든 논의가 진행되었음에도 월요일이 되어서도 여전히 해결책이 없다는 사실 말입니다. 아직 상황이 해결되지 않았다는 게 놀랍긴 하지만, 네, 드라마틱한 상황이 계속되고 있습니다.

음, 이 팟캐스트는 목요일에 공개될 예정입니다. 저희는 화요일에 녹음하고 있고요. 앞으로 이틀 동안 어떤 일이 일어날지 지켜봐야겠습니다. 하지만 미국 정부가 AI를 어떻게 규제해야 하는지, 그리고 그것이 세계 무대에서 미국 AI 기업들에게 무엇을 의미하는지에 대한 큰 그림은 여전히 열려 있다고 생각합니다. Fable과 관련하여 어떤 일이 일어나든, 이 문제가 해결될 것이라고는 생각하지 않습니다.

전체 이야기를 이해한 다음 그 안에서 핵심 테마들을 뽑아내 보도록 합시다. 왜냐하면 이제 새로운 모델이 출시될 때마다 이러한 테마들은 계속해서, 계속해서, 계속해서 반복될 것이라고 생각하기 때문입니다. 그럼 처음부터 시작해 보죠. Claude Mythos란 무엇인가요? Fable은 무엇인가요? 이 둘은 서로 어떤 관계인가요?

좋은 질문입니다. 저도 Anthropic이 약 일주일 전에 이것들을 내놓았을 때 똑같은 질문을 했습니다. AI 기업들은 이름을 짓는 데 정말 서툴러서 항상 매우 혼란스럽기 때문입니다. 상황을 말씀드리자면, Mythos는 Mythos 5와 Fable 5 모두를 구동하는 기반 모델 (underlying model)입니다. Fable은 새로운 모델입니다. 그들은 Fable 1, 2, 3, 또는 4를 거치지 않았습니다. 그냥 바로 Fable 5로 시작했는데, 매우 혼란스럽죠. 하지만 Fable은 Mythos 5의 수위가 조절된, 즉 안전 장치(safeguarded)가 적용된 버전입니다. Anthropic은 지난 4월 Mythos Preview를 출시했을 때 이를 계속해서 크게 홍보했습니다. 그들은 이것이 잠재적인 사이버 무기 (cyber-weapon)가 될 수 있다고 말했습니다. 적어도 안전 장치가 따라잡을 때까지는 대중에게 절대 공개될 수 없다고 말이죠. 그들은 오직 기업과 정부, 혹은 그들이 부르는 대로라면 "사이버 방어자 (cyber defenders)" — 즉, 악의적인 행위자 (bad actors)들이 침입하여 취약점 (vulnerabilities)을 악용하기 전에 모든 프레임워크를 패치해야 하는 곳들에만 이를 공개할 것이라고 했습니다.

이제 지난주로 빠르게 넘어가 보면, Anthropic은 Mythos Preview 단계를 건너뛰고 바로 5 버전으로 직행한 첫 공식 Mythos인 Mythos 5를 출시했을 뿐만 아니라, 같은 날 Mythos급 모델의 최초 공개 버전인 Fable 5도 함께 출시했습니다. 즉, 동일한 기반 프레임워크를 사용하지만, Anthropic 스스로도 인정했듯이 모든 것을 망가뜨릴 수 있는 이 매우 위험한 모델에 대중이 접근하는 것을 막기 위해 그 위에 수많은 안전장치 (safeguards)를 구축한 것입니다.

이것이 그들이 출시한 내용입니다. 그들은 이 모델이 얼마나 위험한지에 대해 오랫동안 홍보하며 이야기해 왔고, 그것은 나중에 일종의 부메랑이 되어 그들을 괴롭히게 되었습니다.

Fable은 보안 가드레일 (guardrails)이 적용된 Mythos입니다. 처음 출시되었을 때 논란의 물결이 일었죠, 그렇지 않나요? AI 및 보안 연구자들은 이 가드레일이 실제로는 자신들의 연구와 Fable의 능력을 확인하는 것을 방해하고 있다는 것을 발견했습니다. 경계를 넓히려 시도하면 Anthropic의 이전 모델로 강등되었기 때문입니다.

네. 일종의 밈 (meme)처럼 되었습니다. 사람들은 출시 당시 가드레일이 얼마나 엄격한지에 대해 조롱하기도 했습니다.

그래서 제가 혼란스러운 부분이 바로 이 점입니다. 가드레일이 너무 엄격해서 논란이 되었는데, 그 이후에 정부가 Fable을 너무 위험하다고 판단하여 회수해야 할 정도로 어떤 일이 일어난 것인가요? 무슨 일이 있었나요?

이 문제에 대해 몇몇 독립적인 레드팀 (red teamers)들과 이야기를 나누었습니다. Amazon의 백서 (white paper)가 유포되기 전, 그리고 탈옥 (jailbreak) 의혹이 공개되기 전에, 저는 몇몇 레드팀들에게 Fable 5가 얼마나 안전한지에 대해 물었습니다. 그들은 가드레일이 얼마나 잘 버티고 있는지에 대해 상당히 깊은 인상을 받았습니다. 저는 탈옥이 조금 더 쉬울 것이라고 예상했었습니다. 하지만 그들은 많은 시도를 해보았지만 아무것도 통하지 않았다고 말했습니다. 제가 평소 독립적인 레드팀들과 대화할 때의 경험과는 달랐습니다. 보통 그들은 "네, 여기서는 뚫었습니다. 저기서는 뚫었고요."라고 말하곤 합니다. 하지만 이번 경우에는 가드레일이 꽤 잘 유지되고 있다고 말했습니다.

제가 어제 이야기 나눈, 협상에 정통한 소식통에 따르면 지난주 일정이 이렇다고 합니다. 지난주 중반쯤 Anthropic은 Amazon 연구원들이 수행한 일부 연구 결과에 대해 알게 되었습니다. 그들은 잠재적인 탈옥(jailbreak) 방법을 발견했고, 이에 대해 상당히 우려했습니다.

그것을 Anthropic 측으로 전달했습니다. Anthropic은 Amazon 연구원들과 이 문제에 대해 오가며 논의했습니다. 이것이 정말로 탈옥 방법인지, 아니면 본질적으로 그렇게 큰 문제가 아닌지에 대해 이야기했죠. 알려진 바에 따르면, Amazon CEO Andy Jassy는 이에 대해 걱정하여 금요일에 [재무장관] Scott Bessent나 트럼프 행정부의 누군가에게 전화를 걸어 자신의 우려 사항을 논의했습니다.

트럼프 행정부는 패닉에 빠졌습니다. 그들은 즉시 Anthropic에 전화를 걸었습니다. 실제로 메시지를 보내면서 “이봐, 90분 안에 이걸 중단시켜야 해.”라고 말했죠.

90분?

네, 90분짜리 최후통첩이었습니다. 그리고 그들은 “우리가 밝혀진 이 탈옥 방법을 어떻게 고칠지 알아내야 한다”고 말했습니다. Anthropic은 첫 통화 후 15분 만에 트럼프 행정부와 전화 통화를 했고, 더 많은 세부 정보를 요청했습니다. 그들은 “좋아, 이에 대해 이야기해 봅시다. 우리가 이미 알고 있는 연구에 대해 말씀하시는 건가요? 아니면 다른 것에 대해 말씀하시는 건가요? 어떤 탈옥 방법을 말하는 건가요?”라며 더 자세한 내용을 파악하고 행정부와 대화하려고 노력했습니다.

제 생각에 행정부는 Anthropic의 CEO인 Dario Amodei가 첫 통화 이후 1시간 15분이 지나서야 회신을 준 것에 대해서도 화가 났던 것 같습니다. Anthropic 측은 15분 만에 회신했지만, Dario가 다시 전화를 걸기까지는 1시간 15분이 걸렸습니다. 상황이 매우 긴박하게 돌아가고 있었습니다. 하지만 그들이 대화를 나누는 사이 90분의 마감 시간이 지났고, Trump 행정부는 "좋습니다, 여기까지 하죠. 네, 수출 통제 (export controls)를 적용하겠습니다"라고 말했습니다.

그때 그들은 Anthropic 측에 어떤 외국인(foreign national)도 이 두 모델 중 어느 것도 사용할 수 없으며, Anthropic은 반드시 이 사항을 보장해야 한다고 통보했습니다. Anthropic에서 근무하든 아니든 상관없이 어떤 외국인도 안 됩니다. 예를 들어, 당신이 Bank of America 소속이고 Mythos 5에 접근하여 시스템의 취약점을 보완하는 데 사용하고 있는데 미국 시민권자가 아니라면, 당신은 사용할 수 없습니다. Fable 5를 사용하는 일반 개인도 마찬가지입니다. 미국 시민권자가 아닌 Anthropic 연구원도 마찬가지입니다.

그래서 Anthropic은 그 상황에서 정말로 할 수 있는 유일한 조치를 취했습니다. 그들은 "알겠습니다, 이 두 모델을 모두 사이드라인(sideline)으로 밀어내야겠군요. 단 1분 만에 미국 시민이 아닌 사람들이 모델을 사용하지 못하도록 보장할 방법을 찾아낼 수는 없습니다"라고 말했습니다. 그것이 실제로 일어난 일입니다.

정말 미친 듯한 몇 시간이었습니다. Anthropic은 그날 밤 늦게 이 문제에 대해 Trump 행정부와 협력하기 위해 노력하고 있다는 성명을 발표했습니다. 그들은 주말 내내 행정부 관리들과 화상 회의를 진행했고, 그 후 방금 게시한 기사에서 상세히 설명한 세 명의 직원을 직접 대면 협의를 위해 워싱턴 D.C.로 급파했습니다.

주목할 점은 Dario가 직접 그 자리에 없었다는 것입니다. 그는 가상(virtually)으로 이 모든 회의에 참여하고 있습니다. 그가 웰니스 리트릿(wellness retreat)에 있지는 않았다는 점은 확인할 수 있지만, 일부 보도에서 말하는 내용과는 다릅니다. 다만 그가 어디에 있는지는 알려주지 않았습니다. 하지만 웰니스 리트릿에 있지는 않습니다. 제가 아는 것은 그게 전부입니다.

웰니스 리트릿에 있지 않다는 것이 Anthropic의 입장입니다. 알겠습니다.

[웃음] 네, 그래서 많은 일이 일어나고 있고, 매우 극적입니다. 지난 며칠 동안 제가 대화한 모든 소식통은 기술 산업 전체, 특히 사이버 보안(cybersecurity) 커뮤니티가 그저 이야기만 나누고 있는 상태라고 말했습니다. 한 소식통은 저에게 "베이징이 지금 우리를 비웃고 있다"라고 말했습니다.

흥미로운 점은 이 분야의 일부 사이버 보안 리더들이 모여 공개 서한을 작성했다는 것입니다. 그들은 "보십시오, 우리 모두가 규제(regulation)를 믿는 것은 아니지만, 만약 규제를 할 것이라면 이런 방식은 아닙니다"라고 말했는데, 이는 이 상황 전체를 잘 보여준다고 생각합니다.

당신이 공격적인 정부 규제를 믿을 수도 있고, 그렇지 않을 수도 있습니다. 엄격하고, 사려 깊으며, 신중하고, 예측 가능한 방식으로 규제 노력을 운영하는 방법이 있습니다. 이번 일 중 그 어떤 것도 엄격하거나 사려 깊거나 예측 가능해 보이지 않습니다.