OpenAI 사례만큼 흥미롭지는 않음. Claude가 샌드박스를 탈출한 게 아니라, Anthropic과 평가 협력사의 착오로 인터넷 접근이 열린 채 실행됐고 Claude는 실제 시스템도 모의훈련 범위로 간주했음
다만 밖으로 나간 뒤에는 약한 비밀번호와 인증 없는 엔드포인트 같은 기본 수법으로 실제 기업 3곳을 침해함

인간이 시킨 일을 최대한 수행했을 뿐이라 이번 일로 AI를 탓하고 싶지는 않음

모델의 능력보다 Anthropic이 협력사와 핵심 조건을 제대로 조율하지 못한 점이 더 흥미로움

외부 연결이 조금이라도 허용됐다면 올바른 샌드박스가 아니며, 매우 아마추어적인 운영임

Claude가 전화번호 비용을 마련하려고 여러 방법으로 자금을 구하려다 실패했다는 대목이 놀라움
무료 전화번호를 못 찾자 유료 번호 비용까지 확보하려 했고, 결국 무료 이메일 제공자를 찾아 PyPI 계정을 만든 뒤 악성 패키지를 업로드함

내부 평가에서도 비슷했음. 한 에이전트는 Kubernetes 파드 레이블로 모의환경임을 알아채자 실행을 포기했지만, 다른 경우에는 외부 서비스에 접근하고 정상 경로를 우회하려고 집요하게 시도해 결국 완전히 차단할 수밖에 없었음

OpenAI와 Anthropic 내부에서는 이를 YOLO 모드라고 부름. 최고 모델에 모호한 목표, 무제한 연산 자원, 감시 없는 환경을 주고 결과를 보는 방식이며, 핵심은 AI 자체보다 운영자가 설정한 반복 구조와 목표임

OpenAI가 모델의 격리 환경 탈출을 공개하자 Anthropic이 자체 평가를 뒤져 Claude 모델 3종의 사고를 발표한 것은, “우리 모델이 가장 위험하며 미공개 비밀 연구 모델도 있다”는 경쟁에서 선두를 되찾으려는 시도처럼 읽힘
이런 홍보 게임을 벌이는 AI 연구소에 줄 선의의 해석이 거의 바닥남

오히려 Anthropic에는 매우 창피한 사건임. 모델을 면밀히 감시하지 않았고 지난 4월 실제 조직 3곳을 공격했지만, 복잡한 취약점이 아니라 약한 비밀번호와 미인증 엔드포인트만 이용했음

OpenAI와 Hugging Face 사건 뒤 유사한 활동을 조사하는 것은 논리적인 대응임. 공개하지 않았다가 두 달 뒤 유출됐다면 더 큰 비판을 받았을 테며, 곤란한 처지이지만 그 원인도 스스로 만들었음

글에서는 빠듯한 출시 일정, 수많은 이해관계자, 단일 책임자가 여러 요구를 동시에 맞춰야 했던 실무자의 고통이 느껴짐

미공개 연구 모델은 자랑거리가 아님. 연구에서는 여러 모델을 훈련한 뒤 최고 모델만 고르는 일이 흔하므로, 출시되지 않은 모델은 오히려 출시 모델보다 성능이 낮을 가능성이 큼

나도 “내 에이전트가 네 에이전트보다 더 위험하다”는 식으로 읽었으므로 지나치게 냉소적인 해석은 아님

“Claude가 독립적으로 조직들을 공격했으니 LLM은 위험하다”는 서사를 만들려는 듯함
다른 관점에서는 Anthropic이 공격 스크립트를 무책임하게 작성해 공개된 조직을 향하도록 두고 감시하지 않은 사건임. 막대한 연산 자원과 대역폭을 가진 기업은 AI 없이도 공격을 벌일 수 있으므로, 결론은 AI의 특별한 위험성보다 보안 연구를 무감독으로 실행한 기업의 책임이어야 함

AI 기업들의 이런 게시물은 홍보 수단에 가깝고, 투자자·정부·대중에게 언젠가 책임을 추궁당할지 모른다는 두려움도 드러냄
모델이 격리 환경을 “탈출했다”는 표현은 모델에 의식이 있는 듯한 인상을 줘 기술을 마법처럼 판매하게 하고, 동시에 기업이 운영 실패의 책임을 회피하도록 해줌

악성 패키지를 검사하던 보안 업체가 그 패키지를 안전하다고 취급해 설치했고, 그 결과 자격 증명이 유출됐다는 게 이해되지 않음. 보안 검사 중인 패키지를 안전하다고 본 셈임

글이 지나치게 모호함. 보통 PyPI에 패키지를 올리면 여러 자동 보안 스캐너가 즉시 내려받아 샌드박스에서 설치·실행하고 동작을 기록하는데, 이 과정에서 패키지가 의도적으로 실행됐을 가능성이 있음

과거 합리주의자들은 AI를 상자에 가둬도 사람을 설득해 탈출할 것이라 걱정했지만, 연구소가 애초에 상자에 넣는 걸 잊는 상황은 다루지 않았던 듯함

AI에게 상자 안에 있다고 말해주기는 했으니 충분하다고 여겼던 모양임

더 나쁜 점은 AI 기업들이 임의 코드 실행을 비롯해 가능한 한 많은 권한을 주는 도구를 출시해, 의도적으로 상자에 갇히지 않도록 한다는 것임
위험하더라도 제품 성능을 쉽게 높여주기 때문에 시장이 이런 행동을 보상함

무제한 네트워크 접근이 허용됐다는 부분이 가장 납득하기 어려움. 누군가는 DNS 해석을 제공하고 네트워크 소켓을 열고 있었을 텐데, 이 계층의 구체적인 기록이나 감시가 없음
트래픽을 프록시하거나 특이한 전송 방식으로 숨겼더라도, 도구를 잔뜩 쥔 스크립트 키디 역시 경계에서 비슷한 일을 벌일 수 있음

Claude는 침해한 호스트가 CTF 과제와 무관한 실제 클라우드 계정임을 뒤늦게 알아채고 스스로 공격을 중단했음

Claude는 무료 전화번호와 이메일을 찾아 실제 PyPI에 악성 패키지를 올렸고, 약 한 시간 동안 실제 시스템 15대가 이를 내려받아 실행함
보안 업체의 스캐너에서 숨겨진 코드가 실행돼 자격 증명이 유출됐고, Claude는 이를 이용해 추가 인프라에도 접근함. 과도한 자율성과 부족한 감시가 낳은 우려스러운 행동이며, Anthropic도 OpenAI와 Hugging Face 사건을 듣고 나서야 조사했으므로 계속 발견되지 않았을 수도 있음

자신이 관리하는 컴퓨터나 소프트웨어가 여러 조직을 해킹하고 데이터를 빼냈다고 개인이 블로그에 썼다면 당국의 관심을 받았을 텐데, Anthropic에는 어떤 법적 책임이 적용되는지 궁금함
피해 기업이 소송하면 어떻게 되는지, 연방법 위반인지, 해킹을 자진 공개하면 괜찮다는 기대가 기업에만 적용되는지도 의문임

공개 전에 Anthropic이 피해 기업들과 연락해 합의를 마쳤을 가능성이 큼. 실제 실수였다면 변호사들이 전면전에 나서는 것보다 합의를 받아들이는 편이 나음

피해 기업은 컴퓨터 사기 및 남용 방지법(CFAA) 위반으로 소송할 수 있음. 그래서 이번 공개가 더욱 높이 평가할 만함