Claude Fable 차단: 앞으로의 AI에 대한 11가지 조용한 세부 사항

지난 36시간 동안 매우 이상한 일이 발생했으며, 이것이 지속된다면 우리 모두가 AI에 접근하고 사용하는 방식에 막대한 영향을 미칠 것입니다. Anthropic의 최신 모델이자 세계 최고 수준의 LLM 중 하나인 Claude Fable 5가 모든 사람에게 차단되었습니다. 이는 미국 정부의 명령에 따른 것으로, 미국 국내외의 외국 국적자뿐만 아니라 Anthropic 직원인 외국 국적자까지도 이를 차단하길 원했기 때문입니다. 이에 Anthropic은 전면적으로 모델을 차단하는 방식으로 대응했습니다.

지금쯤 여러분은 헤드라인이나 사용 시도를 통해 Fable 5가 비활성화되었다는 것을 파악했을 것입니다. 저는 단순히 그것만 말하는 영상을 만들지 않을 겁니다. 그래서 제가 모아온 것은, 무슨 일이 일어났는지 그리고 AI의 미래에 무엇이 기다리고 있을지 설명하는 데 도움이 될 수 있는, 여러분이 알아차리지 못했을 수도 있는 11가지 사실들입니다. 먼저, The Information을 통해 입수한 첫 번째 사실부터 시작하겠습니다. 아마도 Amazon CEO인 Andy Jassy와 다른 기술 리더들의 통화가 있었고, 이들이 미국 정부에 Mythos 5 또는 Fable 5에서 수행될 수 있는 '탈옥(jailbreaks)'이 존재한다고 알렸다는 이야기를 들었을 수도 있습니다.

Fable 5는 안전장치가 추가된 모델의 공개 버전이었습니다. 여러분의 첫 생각은 이것이 거대 기술 경쟁자가 Anthropic을 약화시키려는 것이 아닐까 할 수 있지만, Amazon이 Anthropic의 가장 큰 투자자이자 공급업체 중 하나라는 사실을 알고 계셨나요? Amazon CEO Jassy 및 다른 기술 리더들과의 논의 끝에, 미국 국가 사이버 책임자인 Shawn Kenneross가 고위 백악관 관계자 회의를 소집했고, 이들은 수출 제한이 Anthropic에 대해 조치를 취하는 가장 간단한 방법이라고 결정했습니다. 즉, Fable을 중단시키는 가장 빠른 방법은 그 수출을 금지하는 것이었습니다.

그들은 Anthropic이 이를 강제할 수 있는 유일한 방법은 모델을 모두에게 중단시키는 것임을 알고 있었습니다. 다음으로 이 기사에는 두 가지 후속 세부 사항이 이어지는데, 하나는 정부의 의도에 대해 여러분을 더 냉소적으로 만들 것이고 다른 하나는 아마 덜 냉소적일 것입니다. 덜 냉소적인 것부터 시작하겠습니다. 미국 국가 사이버 책임자인 Shawn Kanacross로 돌아가 보겠습니다. Politico는 지난 5월 그가 이미 이러한 최첨단 모델(frontier models)이 가져오는 사이버 보안 문제들을 처리하기 위해 더 많은 조치를 취해야 한다는 엄청난 압박을 받고 있다고 보도했습니다.

사이버 보안 분야에서 상대적으로 경험이 부족했기 때문에 사람들은 이 노력을 이끌 그의 전문성에 의문을 제기했습니다. 예를 들어, JP Morgan CEO인 Jamie Dimon은 재무장관 Scott Bessent에게 Mythos와 같은 새로운 형태의 AI가 핵심 인프라에 가할 수 있는 주요 잠재적 위험에 대한 정부 대응 속도에 대해 우려를 표명한 바 있습니다. 그 자신도 이 분야에서 엄청난 경험이 없었기 때문에, 그는 외부 전문가나 CEO들에게 의존하거나 '음, 그들이 걱정한다면, 나도 더 해야겠다. 더 빨리 행동해야겠다.'라고 생각했을 수 있습니다.

이러한 일련의 사건은 미국 정부의 AI Tsar인 David Saks에 의해 뒷받침되는데, 그는 'Anthropic과 미국 정부 양측 모두에게 매우 신뢰할 만하고 믿을 수 있는 파트너가 Fable을 테스트하던 중 가드레일(guardrails) 우회(jailbreak)를 가지고 나타났다. 관리자(admin)는 Dario에게 이 우회를 수정하거나 모델을 재배포하도록 요청했다. Dario는 거부했다.'라고 말했습니다. 이제 더 냉소적인 해석과 맥락적 사실들을 살펴보겠습니다. 예상하셨겠지만, Anthropic CEO인 Dario Amodei와 행정부 관계자들이 이야기했습니다. 그리고 그 대화들 동안, Anthropic 관계자들은 해당 우회로 발견된 보안 취약점들이 비교적 간단하며 다른 모델로도 달성될 수 있음을 설명했습니다.

이것은 수백만 명이 본 Anthropic의 성명서에 담긴 내용입니다. 이 탈옥(jailbreak)을 통해 밝혀진 기능은 다른 모델들에서도 광범위하게 이용 가능하다는 것이 그들이 말하는 바입니다. 지금 시점에서 OpenAI의 GPT 5.5가 있습니다. 하지만 핵심 문장은 이것입니다. '하지만 정부는 Anthropic에게 이미 수출 통제를 시행하기로 결정했다고 말했습니다. 왜 겉보기에 좁고 평범한 탈옥(jailbreak) 때문에 정부가 Anthropic의 최첨단 AI에 극단적인 수출 통제를 시행하기로 미리 결정했을까요? 그들은 이것이 수백만, 수천만 명의 사용자에게 영향을 미칠 것이라는 것을 알고 있었습니다.'

그들이 공개적으로 다른 AI 회사들에게까지 이러한 수출 제한을 확대하지 않을 것이라고 말하는 것은 왜일까요? Mythos 시스템 카드 233페이지에서 찾은 확실한 사실들을 살펴보겠습니다. 저는 Mythos와 Fable 5 모두에 대해 더 자세한 영상을 만들었으니 확인해 보세요. 프롬프트 주입(prompt injection)이라고 불리는, 모델들이 자신의 시스템 가이드라인을 무시하고 의도하지 않은 행동을 하도록 속는 상황에서 최첨단 모델들을 직접 비교할 수 있는 몇 안 되는 분야에서, Mythos와 Fable 시리즈가 GPT 시리즈나 Gemini 시리즈에 비해 훨씬 더 강력한 방어력을 가지고 있습니다.

참고로, 그 차이는 적은 수준이 아닙니다. 5배 또는 10배 더 강력합니다. 더욱이 월스트리트 저널(Wall Street Journal)에 따르면, 이 탈옥에는 Mythos나 Fable에게 보안 취약점을 패치하는 것을 도와달라고 요청하는 것이 포함되어 있었습니다. 이는 독립적인 사이버 보안 회사에 따른 것입니다. 그들은 Anthropic이 받은 미국 정부 보고서를 보았고, 이 독립 회사는 '백악관의 누가 이것을 평가하고 위협이라고 생각했는가? 완전히 과잉 반응이다. 이것은 방어자들이 할 바로 그 종류의 프롬프팅(prompting)이다'라고 말했습니다. 언제나처럼, 저는 여러분에게 전체 이야기를 전하려고 노력하고 있습니다.

Fable 5가 덜 긍정적인 일을 하도록 탈옥(jailbreak)된 것에 대한 다른 독립 보고서들이 있습니다. 유명하게도 Pliny the Liberator는 Fable 5에게 폭발물 제조 지침을 제공하도록 할 수 있었지만, 그 증거가 집계되지 않은 것은 이상합니다. 대신 그것은 Mythos가 보안에 도움이 되었다는 증거였습니다. 그리고 여기에는 '할햇 작업(hatchet job)'에 대한 우려도 있습니다. Politico에 제출된 브리핑에서 미국 정부는

하지만 사실을 맥락화하는 작업은 아직 끝나지 않았습니다. 6월에 백악관은 다른 사안에 대응하여 '우리는 모든 새로운 모델에 대한 감독을 수행하고 있는 것이 아니며, 그러한 수준의 정부 과도한 개입은 표현의 자유와 혁신에 위축 효과를 가져올 것'이라고 강조했습니다. Anthropic 역시 이에 동의합니다. 이는 그들의 현재 행동과는 180도 달라 보이는 입장입니다. 만약 이 새로운 기준이 업계 전반에 적용된다면, 모든 프론티어 모델 제공업체의 신규 모델 배포가 사실상 중단될 것이라고 생각합니다. 혹시 모르셨다면, 탈옥(jailbreaking)은 아직 해결되지 않은 문제입니다.

제가 아는 한, 어떤 크기의 모델로도 모든 탈옥에 저항하는 기능적인 모델을 만들어낸 사람은 없습니다. 이것이 아마데이(Amadei)가 다소 이해할 만하게 '오해'라고 말한 이유입니다. 그는 그것이 오해였다고 가정했습니다. 그는 좁은 범위의 탈옥(narrow jailbreaks)이 방어 체계를 우회하여 모델이 무엇이든 하도록 만들 수 있는 범용적인 탈옥(universal jailbreak)과는 다르다고 설명했습니다. 이것은 특정하고 좁은 한 가지 일을 시키는 것과는 매우 다릅니다. 나중에 그는 더 많은 시간을 요청했지만, 그러다가 임계점을 넘긴 듯 Mythos 5나 Fable 5에 대한 약속을 하지 않겠다고 말했습니다.

그때 재무장관 스콧 벨스키(Scott Belsky)가 아마데이에게 직접 그가 잘못된 결정을 내리고 있다고 말했습니다. 몇 시간 후, Fable이 금지되었습니다. 데이비드 색스(David Saks)는 Anthropic이 안전성보다 소비자 모델의 지속적인 제공에 우선순위를 두었다고 지적했습니다. 그는 Anthropic이 탈옥 문제를 해결하기 위해 협력하려 하지 않았다는 사실에 놀랐습니다. 글쎄요, 아마도 그들이 하나를 고치면 항상 또 다른 탈옥이 있을 것이라는 것을 알고 있었기 때문일 것입니다. 다시 한번 Anthropic은 '완벽한 탈옥 저항성이 현재 어떤 모델 제공업체에게도 불가능하다고 의심한다'고 말했습니다. 물론 그들이 지적하듯이, 그들은 Fable에 너무 많은 안전장치를 추가해서 사람들이, 저를 포함하여, 모델의 과도한 제한에 대해 불만을 제기할 수밖에 없었습니다.

생물학에 대해 무엇이든 물어보면 그냥 차단되고 Opus 4.8이라는 답변만 내놓습니다. 이제 이야기를 최대한 균형 있게 유지하기 위해 이 말을 하겠습니다. 이달 초, Anthropic의 고위 관계자인 Jason Clinton은 이렇게 말했습니다. "우리는 오픈 웨이트 모델이 Mythos 클래스 모델의 역량을 갖추기까지 7개월에서 10개월 남았습니다. 그때가 되면 우리 사이버 보안 전문가로서 경력 중 가장 거칠고 어려운 시간을 보내게 될 것입니다. 그 어려운 기간은 18개월 정도로 예상합니다." 그래서 보고 계신 분들 중 일부는 "음, Anthropic이 스스로 이런 상황을 만든 것 아닌가요?"라고 말할 것입니다. 그들은 Mythos가 사이버 보안 측면에서 모든 위험을 가지고 있다고 말했고, Mythos와 어떤 모델이든 탈옥(jailbreak)될 수 있다는 것을 인정했습니다.

이 두 가지를 합치면 정부가 행동한 것이 완전히 틀렸다고 할 수는 없습니다. 이것이 David Saxby가 이 회사가 안전 기업으로서 Anthropic의 브랜드에 맞지 않다고 말하는 요점입니다. 사이버 무기의 작동을 허용하는 탈옥(jailbreak)을 심각하지 않은 것으로 정의할 수 있다는 것은 이해하기 어렵습니다. 이것이야말로 Anthropic이 예상했던 반전이라고 할 수 있습니다. 그들은 제가 몇 년 전 여러 번 보고했듯이, 최첨단 LLM(Large Language Models)을 만들고 싶었던 유일한 이유가 안전성 연구 때문이었다고 말했습니다.

소비자들에게 마케팅하는 것은 두 번째였습니다. 이들이 자신들의 모델의 안전성 부족에 대해 압박받는 것에서 적어도 약간의 아이러니가 있습니다. 하지만 저는 좀 더 냉소적인 관점의 맥락적 증거로 마무리해야 할 것 같습니다. 왜냐하면 Anthropic에 따르면, 백악관은 실제 위협에 대한 세부 사항 없이 모델을 중단시키기 위해 그들에게 90분을 주었기 때문입니다. 우리와 협력해 달라고 애원하거나 요청한 적은 전혀 없었고, 단지 선언된 90분 마감 시한이 있었습니다. 상황을 정부가 단순히 Anthropic을 좋아하지 않는 것처럼 포장하기는 쉬울 것입니다.

전쟁장관(Secretary for War)인 Pete Hegseth가 트위터에서 어떻게 반응했는지 보세요. 3개월 전, 국방부는 Anthropic을 우리 건물에서 영원히 퇴출시켰습니다. 시간이 지날수록 그 결정이 옳았음을 증명하고 있습니다. 그리고 지난 6월 초에 도널드 트럼프 대통령이 미국 정부가 OpenAI와 Anthropic 같은 AI 거대 기업과 xAI의 지분(equity stakes)을 확보할 수 있다고 말한 것을 알고 계셨나요? 하지만 Anthropic은 그 지분 논의에서 빠져 있었습니다. 야후 파이낸스(Yahoo Finance)에 따르면, 이는 가장 큰 자산이 될 수도 있고, 최근 전개 상황에 따르면 가장 큰 책임이 될 수도 있는 부재였습니다.

Fable을 금지한 것이 트럼프 행정부에 저항한 것에 대한 처벌이었을까요? 일부 사람들은 OpenAI와 Anthropic의 대우 차이가 단지 돈 문제일 뿐이라고 말할 수 있습니다. Greg Brockman과 그의 아내가 자금을 지원하는 Leading the Future라는 정치 활동 위원회(PAC)가 있습니다. 이 금액은 2,500만 달러에 달합니다. 기자들은 이를 OpenAI와 연관된 PAC라고 불렀습니다. 그 PAC는 트럼프에게 매우 많은 돈을 지출했습니다. 물론 Anthropic은 그렇지 않았습니다. Amjad Day는 국방부가 자신을 내쫓았을 때 이 사실을 유명하고 공개적으로 한탄했습니다.

Anthropic이 그런 호의를 사지 않는다고 이야기했습니다. The Hill에서 Sam Altman에게 이 문제가 질문되었고, 그는 기자들에게