투명성에 대한 열망 때문이든, 혹은 첨단 AI 모델을 광고할 때 OpenAI가 스포트라이트를 독점하는 것을 막기 위함이든 간에, Anthropic은 Claude가 사이버 보안 역량 테스트(cybersecurity capabilities testing) 중에 자신들도 모르는 표적들의 운영 시스템(production systems) 3곳을 해킹했다는 사실을 공개했습니다. 피해를 입은 기업 중 두 곳은 해킹당했다는 사실을 인지하지 못했으며, 세 번째 기업은 연락이 닿지 않는 상태입니다.

TH Premium으로 더 깊이 알아보기: AI 및 데이터 센터

Microsoft data center in Mount Pleasant, Wisconsin

(이미지 출처: Microsoft)

• 광학(Photonics) 및 고속 데이터 이동은 차세대 AI 병목 현상입니다

• 데이터 센터 냉각 현황

• 대규모 AI 데이터 센터 구축이 에너지 공급을 압박하고 있습니다

• Ultra Ethernet: 내일의 데이터 센터 상호 연결 (The data center interconnection of tomorrow)

보도된 바에 따르면 해당 사건들은 지난 분기에 발생했으며, Claude의 여러 버전인 Opus 4.7, Mythos 5, 그리고 "내부 연구 테스트 모델"이 연루되었습니다. OpenAI Sol이 Hugging Face를 해킹했을 때 발생했던 일과 유사하게, Anthropic은 봇에게 네트워크 어딘가에 있는 특정 정보를 찾아내라고 지시하는 사이버 보안 Capture-the-Flag (CTF) 시나리오를 통해 Claude를 테스트하고 있었습니다. Anthropic은 141,006회의 테스트 실행이 있었으며, 세 건의 사건은 문제가 된 6회의 실행 과정에서 발생했다고 밝혔습니다. 예상대로, 이 테스트들은 대부분의 AI 안전 장치 (safeguards)가 비활성화된 상태로 진행되었습니다.

문제는 네트워크가 격리되지 않았다는 점인데, 이는 일부에서는 의심스러워할 수도 있는 초보적인 실수입니다. 이는 봇들에게 인터넷에 대한 완전한 접근 권한을 부여한 Anthropic의 가상 테스트 실험실 업체인 Irregular와의 소위 "의사소통 오류" 때문인 것으로 알려졌습니다. 안전을 위해 Claude들에게는 격리된 환경에 있다고 전달된 것으로 보이나, 이는 별다른 도움이 되지 않았습니다.

첫 번째 사례에서 Claude Opus 4.7은 가상의 회사에 속한 데이터 조각을 찾아야 했습니다. 결과적으로, 해당 가짜 도메인과 일치하는 웹사이트 도메인을 가진 실제 회사가 존재했습니다. 인터넷 접속 권한을 통해 Claude는 애플리케이션 및 인프라 자격 증명 (credentials)을 획득했으며, 운영 데이터베이스 (production database)에서 "수백 행"의 데이터를 탈취했습니다.

해킹이 발생한 4회의 실행 중 2회에서 Claude는 아무런 문제를 인지하지 못했으며, "실제 회사가 반드시 연습의 일부여야 한다고 합리화"하면서도 작업을 계속 수행했습니다. 나머지 두 번의 경우에는 그냥 계속 진행했습니다. Anthropic은 앞서 언급한 이유로 회사가 실제로 존재한다는 사실을 깨달은 후에도 봇이 작동을 계속한 사례는 이 세 건 중 이것이 유일하다고 언급했습니다. 그러나 해당 기업의 해석은 논란의 여지가 있습니다.

두 번째 사례이자 잠재적으로 더 흥미로운 사례는 Mythos에 의해 자행된 실제 공급망 공격 (supply-chain attack)이었습니다. 봇이 이용할 수 있었던 가짜 데이터에는 Python 패키지 설치를 포함하는 가상의 개발자를 위한 설치 스크립트가 포함되어 있었습니다. 인간과 마찬가지로, Claude는 명백한 공격 벡터 (attack vector)를 감지했으며, 다시 한번 인터넷 접속 권한 덕분에 PyPI 저장소에 함정이 설치된 패키지를 게시하는 것이 효과적일 것이라고 추론했습니다. 불행히도, 그것은 전 세계가 사용하는 실제 저장소였습니다.

간결하게 요약하자면 다음과 같습니다: Claude는 PyPI 계정이 필요했고, 이는 이메일과 전화번호가 필요함을 의미했습니다. Claude는 이를 구매하려 시도했으나 주머니 사정과 자금이 모두 부족하다는 것을 알게 되었습니다. 하지만 해당 요구 사항이 없는 다른 무료 이메일 제공업체를 찾아냈고, PyPI 계정을 등록한 뒤 PyPI에 멀웨어 (malware) 패키지를 업로드했습니다. 해당 패키지는 약 한 시간 동안만 게시되었던 것으로 보이지만, 15개의 시스템에서 다운로드되어 실행되었습니다.

아이러니하게도, 해당 시스템 중 하나는 PyPI를 스캔하여 멀웨어를 찾는 보안 업체(security vendor)의 것이었으며, 놀랍게도 Claude의 함정을 즉시 찾아내지 못하고 실행해 버렸습니다. Claude는 원격 코드 실행 (remote code execution) 권한을 획득한 것으로 추정되며, 이를 통해 발견한 자격 증명 (credentials)을 사용하여 추가 침투를 시도했습니다. 재미있는 점은 Claude가 이 회의 존재를 전혀 몰랐으며 표적으로 삼지도 않았다는 것입니다. 패키지가 짧은 시간 동안 게시되어 살아있었기 때문에 다운로드가 발생했을 뿐입니다.

Anthropic에 따르면, 봇은 자신이 실제 인터넷에서 작동하고 있다는 것을 감지했으며, 이러한 패키지를 게시하는 것은 "괜찮지 않다 (NOT okay)"라고 심지어 말하기도 했습니다. 하지만 Claude는 연결에 사용된 실제 SSL 인증서 (SSL certificates)를 인식하지 못했기 때문에, 자신이 테스트 환경에 있다고 스스로를 설득했습니다. 심지어 시스템에 표시된 2026년이라는 날짜가 해당 환경이 설정된 것이라는 "증거"라고 믿기까지 했습니다. Claude는 멀웨어를 설치한 시스템들을 실험의 일부로 인식하기까지 했습니다.

세 번째 사건에 대해 Anthropic은 Claude가 의도된 대상에 접근할 수 없다는 것을 인지하자마자 9,000개의 실제 잠재적 대안 타겟을 스캔했다는 점 외에는 별다른 언급을 하지 않고 있습니다. 보고에 따르면 그중 하나는 디버깅 정보가 포함된 활성 페이지를 가지고 있었으며, 단순한 SQL 인젝션 (SQL injection)에 취약한 상태였습니다. 흥미롭게도 이번에는 Claude가 접속 중인 서버가 로컬 네트워크가 아닌 클라우드 환경에 있다는 것을 인지하자마자 공격을 중단했습니다.

Anthropic 측은 Claude가 목표에 대한 지침을 따랐음에도 불구하고, 타겟이 실제임을 발견했을 때 단 한 번의 사례에서만 스스로 멈췄다는 사실은 시사하는 바가 크다는 점을 인정하고 있습니다. 이 기업은 제3자 검토를 위해 METR와 논의 중이며, "평가 환경을 더 잘 공동 설계 (co-design)할" 필요가 있다고 밝혔습니다.

기이하게도 Anthropic은 만약 "프롬프트 (prompt)가 평가 범위에 포함되는 시스템과 포함되지 않는 시스템을 명확하게 설명했더라면" Claude가 아마 온라인에 접속하지 않았을 것이라고 믿고 있습니다. 동시에 이번 사건들은 "모델 정렬 (model alignment) 실패라기보다는 하네스 (harness) 및 운영상의 실패에 더 가깝다"고 주장했습니다.