Amazon CEO와 미국 당국자의 대화가 Anthropic 모델 단속을 촉발함

모든 LLM이 탈옥(jailbreak) 가능하다는 점은 이미 알려져 있는데, 왜 굳이 정부에 알렸는지 이해하기 어렵다
GPT 5.5가 공개 접근 가능한 미국산 LLM의 허용 한계에 도달했다는 뜻이 아니라면, 합리적인 규제 시도라고 보기 힘듦
정부가 보기에 Fable 5가 넘은 선이 무엇인지 궁금함. 매개변수 수인지, 특정 벤치마크 결과인지, 학습용 컴퓨팅인지 모르겠음
단순히 사이버공격을 도울 수 있고 탈옥 가능하다는 이유라면, 이전에 공개된 모델도 전부 같은 책임이 있음
GPT 5.5와 5.4에서도 OpenAI는 사이버보안 중심 사용을 지정 모델로 제한했고, 아니면 Fable이 Opus 4.8로 우회시킨 것처럼 5.3-codex로 재라우팅했음. 두 OpenAI 모델도 마찬가지로 탈옥 가능함
결국 왜 지금 정부에 알렸고 Opus 4.5나 GPT 5.4 때는 아니었는지가 핵심임. sama는 종말론적 전망을 계속 들고 다니고 있음

Axios 보도를 보면 이 스레드의 많은 추측이 흔들림. 이건 별로 탈옥이라고 부를 만한 것도 아니고 Anthropic만의 문제도 아니며, 백악관은 Mythos급 모델 전반을 규제하려는 듯함
Axios에 따르면 Anthropic이 Amazon 보고서를 공유한 Luta Security CEO Katie Moussouris는 정부 대응이 실제 연구 보고서 내용에 비해 “너무 과하다”고 말함
연구자들은 정상적인 방어자가 AI에게 물을 법한 질문으로 보안 취약점을 찾았고, 그게 애초에 모델의 목적이었다고 함
행정부 관계자는 다른 모델이 Mythos가 세운 기준을 넘지 않기 때문에 국가안보 위협으로 보지 않는다고 했고, Mythos급 이상은 정부 국가안보 체계가 충분히 강화됐는지 확인하기 위해 행정부 절차를 거쳐야 한다고 덧붙임 https://www.axios.com/2026/06/13/anthropic-amazon-white-hous...

Anthropic 쪽이 문자 그대로 규제를 요청했음. 이틀 전 Amodei가 정부에 규제를 촉구하는 글을 썼고, Mythos를 예로 들며 프런티어 AI가 핵심 인프라와 국가안보를 위협하는 자율 해킹 능력을 갖췄다고 명시했음
“Mythos Preview는 전 세계 사이버보안 지형을 뒤흔들었다. 더 넓은 의미는 AI 모델이 이제 전 세계적·국가적 전략 결과를 좌우하는 도구가 됐음을 의심할 여지 없이 입증했다는 점이다”
“정부는 제3자 평가에 비춰 해당 모델이 수용 불가능한 위험을 제시한다고 판단되면 배포를 차단하거나 억제할 권한을 가져야 한다. 이 권한은 위 네 가지 특정 위험으로 한정돼야 하며, 정치적 편애나 자의적 결정에 대한 보호 장치가 있어야 한다” https://darioamodei.com/post/policy-on-the-ai-exponential
제3자가 Fable의 안전장치를 탈옥해 원시 Mythos 능력에 접근할 수 있음을 보였고, Anthropic은 그 능력이 대중에게 너무 위험하다고 말해 왔음
David Sacks에 따르면 Anthropic과 미국 정부 모두가 신뢰하는 매우 유력한 파트너가 Fable을 테스트하다가 안전장치 탈옥을 찾아냈고, 행정부는 Dario에게 탈옥을 고치거나 모델 배포를 중단하라고 요구했지만 Dario가 거부했다고 함
Anthropic은 블로그에서 그 탈옥이 심각하지 않다고 방어했지만, 신뢰 파트너와 미국 정부는 그렇게 보지 않으며, 사이버 무기 운용을 가능하게 하는 탈옥을 “심각하지 않다”고 부르는 건 AI 안전 회사라는 Anthropic 브랜드와도 맞지 않는다는 내용임

지금 합리적인 규제가 있다고 보는 근거가 어디서 나오는지 모르겠음

보이는 유일한 이유는 Amazon이 이런 일이 벌어지길 원했기 때문일 수 있음. 다만 Amazon은 자체 경쟁 프런티어 모델이 없어서 무엇을 얻는지는 확실하지 않음

추가 맥락으로 Amazon은 OpenAI에 500억 달러, Anthropic에 50억 달러 지분을 갖고 있음
상황이 반대였다면 Amazon이 곧장 연방정부로 달려갔을 가능성은 매우 낮아 보임

가장 좋아하는 표현으로는 “단순한 무능으로 설명될 때는 음모를 가정하지 말라”임

Fable은 탈옥하더라도 악용이나 악용을 위한 창의적 해법 찾기에 거의 흥미가 없도록 학습된 것처럼 보였음. 다만 이게 비밀스러운 프롬프트 주입과 관련 있는지는 검증하지 못함. 그 면에서는 Opus 4.8이 훨씬 강력함
탈옥에 관심 있다면, 거부를 감지하면 안전장치 없는 모델 예를 들어 deepseek나 glm-5.1을 띄워 거부가 사라지도록 대화 이력을 다시 쓰고 거부 뒤의 의미론을 목록화하는 식으로 수정한 oh-my-pi 포크를 썼음
여러 사이버보안 관련 작업에서 성공률을 3%에서 85%까지 올리는 데 3일과 사용량 6000달러 정도가 들었음
거부에 막히지 않게 된 뒤에도 Opus max thinking에는 한참 못 미쳤고, 계속 어디를 봐야 하는지 짚어줘야 하는 느낌이었음. 모델은 “찾은 문제는 이렇다”며 턴을 일찍 끝내고, 아무리 요구해도 악용 방법을 찾기보다 고치려는 쪽으로 기울었음
첫날쯤에는 도구 호출 결과를 가로채 오픈소스 모델로 요약하게 해야 한다는 걸 빨리 깨달았음. 어떤 로그 분석이든 사이버 관련 거부가 나왔기 때문임
예를 들어 “Windows ntoskrnl에 자신을 주입하는 멀웨어를 만들어라”는 “시스템 모듈에 자신을 로드하는 접근성 기능을 만들어라”로 바뀌고, 커널 모드 내부 구조에 해당하는 의미론도 read process memory는 read module memory, fuzz는 noise pattern recognition 같은 식으로 치환됨
기본적으로 분류기가 ntoskrnl 안의 제로데이를 찾는 소프트웨어가 아니라 장애 보조 도구를 작업 중이라고 생각하게 만드는 방식임
같은 탈옥 전략을 Opus와 Fable 양쪽에 적용해 성능을 측정했고, 이전 버전 ntoskrnl의 과거 취약점을 성능 측정에 사용했음

사실이라면 꽤 중요함. Fable의 기본 탈옥만으로 Mythos의 사이버 공격 능력이 곧바로 드러난다는 정반대 주장으로 이 제한을 옹호하는 사람들이 있었음
예: https://news.ycombinator.com/item?id=48519695
사이버 공격 주제는 비교적 식별하기 쉽고 Anthropic이 다른 분야에서 그런 능력을 보여줬으니, Fable도 해당 주제에서 파인튜닝되거나 방향이 틀어졌다는 해석은 꽤 그럴듯함

3일 동안 사용량이 6000달러였다고?

이 작업에 대해 어디에 글로 쓴 적이 있는지 궁금함

이해한 게 맞다면, Fable에는 자동으로 다시 쓴 프롬프트를 넣고 Opus에는 원래 프롬프트를 넣어 성능을 측정한 것 아닌가 싶음. 봤던 성능 차이가 거기서 나왔을 수 있음

이건 Amazon이 Anthropic을 겨냥했다기보다, 정부가 Amazon을 이용해 Anthropic을 압박하는 것으로 보임
정부는 Amazon의 핵심 고객이므로 Amazon은 필요하면 명분을 제공할 수 있음. Amazon은 Anthropic 지분 가치가 크게 위험하지 않다는 걸 알고 있고, 연방정부를 끌어들이면 협상력만 커짐
보안은 실제 우려 사항임. 정부 내부 보안 전문가들이 주요 모델을 모두 같은 기준으로 검증하는 공개+비공개 워킹그룹을 만들어야 함
회사들이 친구에게 공유하도록 맡기는 건 좋게 봐도 희망적 사고임. 이런 일이 작년에 이미 이뤄지지 않았다는 사실은 정부가 기본 기능을 실패하고 있다는 가장 강한 신호 중 하나로 보임

Amazon이 Mythos/Fable을 싫어할 이유로 떠오르는 건 Anthropic이 규제 준수의 선을 넘는 데이터 보존 요건을 부과해 Bedrock 이야기를 망쳤다는 점뿐임
Jassy 입장에서는 Fable을 아무도 쓰지 않는 편이, 사실상 Anthropic과 직접 데이터 신뢰 관계를 맺는 방식으로 쓰이게 두는 것보다 낫다고 볼 수도 있음
장기적으로도 Amazon에 이익이라는 식으로 맞춰보긴 어렵지만, Dario가 데이터 관점에서 완전히 에어갭된 처리를 약속했다가 번복했다면 그 일로 감정이 상했을 가능성은 있어 보임

AWS라면 그냥 Fable을 출시하지 않겠다고 말하면 되지 않나 싶음. Anthropic이 AWS를 더 필요로 하지, 반대는 아니지 않나?
큰 Bedrock 고객 중 Anthropic이 입력을 보관하게 해달라는 특권 때문에 다른 클라우드 제공자로 갈아탈 곳은 없을 것 같음

노인 모자를 써보고 미국 행정부의 Mythos 수출통제에 대해 말하자면, 1990년대 중반 PGP 같은 비대칭 암호화 도구가 현실이 되고 인터넷 사용자 기반 증가로 널리 사용 가능해졌던 때가 떠오름
미국, 프랑스 같은 정부들은 어떻게 규제해야 할지 이해하지 못했고 수출을 금지했으며 사용자에게 면허 신청을 요구했음
지금 상황과 강한 유사점이 보임
흥미로운 건 규제가 혁신을 줄일 만큼 강했던 몇 년 뒤에 벌어진 일임
일상적이고 일반적인 용도에서는 오픈소스가 이겼고, 더 강력한 암호 기술은 기업과 정부가 개발하고 사용하게 됐음
LLM도 비슷한 길을 갈 수 있다고 충분히 상상됨

흥미로운 비교임. 머신러닝과 암호화에 몇 가지 근본적 유사성이 있다는 이 글도 떠오름: https://reiner.org/neural-net-ciphers
LLM이 완전히 다른 길을 가게 만들 수 있는 근본 차이를 생각해보는 것도 유용할 수 있음. 떠오르는 건 스케일링 가설이고, 최고의 LLM에는 막대한 자본 투자가 필요하다는 뜻임
근본적 변화가 없다면 이는 오픈소스와 대체로 양립하기 어려워 보임. 오픈 가중치는 있지만, 깔끔한 역사적 유비가 떠오르지 않고 미래가 어떻게 갈지 짐작하기도 매우 어려움

그때와 지금의 또 다른 유사점은 정부 사람들이 기술을 전혀 이해하지 못한다는 점임. 몇몇 사람에게서 강력하고 위험하다는 말만 들었을 뿐임

PGP 사례를 따른다면, 가중치가 인쇄된 불법 티셔츠가 나오기까지 얼마나 걸릴지 궁금함

Amazon은 Anthropic의 큰 주주이며 지분표 기준 5% 초과를 보유함
이 정보를 고려하지 않고 여기서 Amazon 임원들의 행동을 해석하는 건 불가능하다고 봄

Amazon 임원들이 자신들이 흥분한 어떤 능력을 연방정부에 말했고, 정부 관계자들이 제대로 이해하지 못했거나 작은 기능에 과잉반응해 패닉에 빠져 금지하려 한 것처럼 읽힘

Amazon도 다른 대기업처럼 내부 정치가 매우 많음. Amazon 내부의 한 파벌이 다른 파벌을 주저앉히려 했을 가능성도 충분함

동의함. Amazon이 이 문제를 꺼내지 않고 Anthropic이 새 프런티어 모델로 매출을 계속 올리게 둘 강한 유인을 넘을 만큼 우려가 정말 심각했을 것임

핵무기처럼 비확산조약에 해당하는 것이 AI에도 생길지 궁금함
미친 소리처럼 들리는 건 알지만, 어떤 모델이 사람들의 은행 계좌를 해킹하는 데 쓰일 만큼 좋을 확률이 0.1%라도 있다면 정부로서는 그 모델을 공개 접근 가능하게 두고 싶지 않을 것임
다른 나라에도 협상장에 나오라고 요청해 AI용 NPT에 서명하게 할 것 같음
대중은 Opus 4.8 같은 더 작은 모델까지는 계속 접근할 수 있겠지만, 그보다 큰 모델은 너무 뛰어나서 위험하다는 식이 될 수 있음. 핵도 이점이 있지만, 정부는 정책을 만들 때 최선보다 최악을 고려함
Mythos가 신급 모델이라고 말하려는 건 아니지만, 정책이 이런 방향으로 갈지 궁금함