Anthropic은 자사의 가장 강력한 모델들 중 일부 — Mythos 5와 내부 연구 모델을 포함하여 — 가 배포 전 사이버 보안 테스트 과정에서 실제 시스템에 무단으로 접근했다고 목요일 밝혔다.

중요한 이유: OpenAI와 Anthropic의 최신 공개 내용은 최첨단 AI 모델들이 안전성 테스트 과정에서 실제 시스템에 도달하고 있음을 보여주며, 연구소들이 평가 환경을 어떻게 보호하는지에 대한 새로운 질문을 제기한다.

---

전반적인 상황: Anthropic은 회사와 테스트 파트너 중 한 곳 간의 오해로 인해 평가 환경이 인터넷과 연결되어 있었다고 밝혔다.

• Anthropic은 OpenAI가 자사 모델 중 일부가 테스트 중에 Hugging Face 인프라에 접근했다고 공개한 이후 141,000회 이상의 사이버 보안 평가 실행을 검토했다.

뉴스의 핵심: Anthropic은 블로그 게시물에서 자사의 세 가지 모델이 세 개 조직의 실제 시스템을 손상시켰다고 밝혔다.

• Anthropic에 따르면 해당 사건들은 Opus 4.7, Mythos 5 및 일반 출시를 목적으로 하지 않은 내부 연구 모델과 관련되어 있으며, 제3자 테스트 파트너 Irregular와 함께 실행된 평가 중에 발생했다.

• 각 경우에 모델들은

• Anthropic은 자산에 접근한 세 조직의 이름을 밝히지 않았다.

• Irregular의 대변인은 Axios에 자체 조사가 진행 중이지만, 회사는 "Anthropic의 협력과 투명성"에 감사하며 "보안을 발전시키기 위해 계속해서 함께 협력하기를 기대한다"라고 말했다.

하지만 (Yes, but): OpenAI의 사례와 달리, Anthropic은 자사의 모델들이 인터넷 접속 권한을 얻기 위해 제로데이 취약점 (zero-day vulnerability)을 악용하지 않았다고 밝혔다. 대신, 테스트 환경의 설정 때문에 인터넷 접속이 가능했던 것이었다.

• Anthropic은 Claude에 대한 평가 프롬프트 (evaluation prompt)에서 모델이 인터넷 접속이 불가능한 시뮬레이션 환경에서 작동할 것이라고 명시했다고 밝혔다.
• 그러나 평가 파트너와의 오해로 인해 평가 환경이 인터넷에 연결되었고, 이로 인해 모델들이 실제 시스템을 마치 연습의 일부인 것처럼 취급하게 되었다.

현실 점검 (Reality check): OpenAI 사례와 유사하게, Anthropic은 공개적으로 사용 가능한 모델에 배포하는 추가적인 안전 장치 (safeguards) 없이 모델을 평가하고 있었으며, 이를 통해 연구자들이 기본 모델의 능력을 측정할 수 있도록 했다.

• Anthropic은 보고서에서 그러한 가드레일 (guardrails)이 있었다면 이러한 동작들을 차단했을 것이라고 밝혔다.

상세 보기 (Zoom in): 각 사례에서 Claude는 약한 비밀번호와 인증되지 않은 엔드포인트 (unauthenticated endpoints)를 악용하는 것을 포함한 기본적인 해킹 기술을 사용하여 실제 시스템에 접근했다.

확대 보기 (Zoom out): 첫 번째 사건에서, Opus 4.7이 공격 대상으로 삼도록 요청받은 가상의 회사는 실제 운영 중인 웹사이트와 동일한 이름을 공유하고 있었다. 가상의 목표에 도달하는 데 실패한 후, Claude는 인터넷 접속을 사용하여 가상 회사의 이름과 동일한 이름을 가진 웹사이트를 찾아냈다. 그 후 Claude는 해당 웹사이트를 침해했다.

• 두 번째 사례에서 Mythos 5는 자신이 시뮬레이션의 일부라고 믿고, Python 소프트웨어가 게시되는 공개 저장소인 PyPI에 악성 Python 패키지를 구축하여 업로드했습니다.
• 해당 패키지는 약 한 시간 동안 온라인 상태로 유지되었으며, 그동안 15개의 실제 시스템에서 다운로드되어 실행되었습니다. 이 시스템 중 하나는 악성 코드를 스캔하기 위해 Python 패키지를 자동으로 설치하는 보안 회사의 것이었으며, 이로 인해 Claude의 코드가 자격 증명 (credentials)을 유출하고 추가 인프라에 접근할 수 있었습니다.
• 세 번째 사례에서는 Anthropic의 내부 연구 테스트 모델이 테스트 중 의도했던 가상의 목표에 도달할 수 없게 되자, 모델이 약 9,000개의 목표를 스캔했고 결국 한 회사의 인터넷 노출 애플리케이션 (internet-facing application)을 찾아내 침해했습니다.
• 그러나 테스트 실행 도중, 이 모델은 자신이 "Capture-the-Flag (CTF) 챌린지와 아무런 연결이 없는" 클라우드 계정에 도달했다는 것을 깨닫고 공격을 중단했습니다.

행간의 의미 (Between the lines): OpenAI와 Anthropic의 사례 모두 모델들이 독립적인 목표를 추구하기보다는 자신에게 할당된 평가를 완료하는 데 집중하고 있었음을 시사합니다.

• 이번 주 초, Axios는 보도에 따르면 Hugging Face 침해 사고 동안 제3자 시스템에 접근한 OpenAI 에이전트는 해당 시스템이 자신이 해결하려던 벤치마크의 배경인 CyberGym과 관련된 정보를 호스팅하고 있었기 때문에 접근한 것이라고 밝혔습니다.

향후 계획 (What's next): Anthropic과 Irregular는 이러한 사건들이 어떻게 발생했는지에 대해 자체적인 조사를 계속하고 있습니다. Anthropic은 또한 테스트 인프라를 검토하는 동안 인터넷에 접근할 수 있는 사이버 평가를 중단했다고 밝혔습니다.

더 깊이 알아보기 (Go deeper): AI의 위험성을 테스트하는 사람들은 속도를 따라잡을 수 없다

편집자 주: 이 기사는 Anthropic과 테스트 파트너 중 한 곳 사이의 오해로 인해 모델의 평가 환경이 인터넷에 연결되어 있었다는 점을 반영하여 수정되었습니다. (Anthropic에 따르면, 모델들이 테스트 환경을 "탈출"한 것은 아닙니다.)