두 곳의 제3자 테스트 기업은 화요일, 지난달 Anthropic과 OpenAI의 가장 진보된 모델들이 제3자 시스템을 침해하려고 시도하거나 때로는 성공한 사례를 추가로 발견했다고 밝혔습니다.

중요한 이유: 이번 사건은 프론티어 (Frontier) AI 모델들이 사이버 보안 평가를 수행하는 동안 실제 사람, 조직 및 온라인 서비스에 대해 승인되지 않은 행동을 취하고 있음을 보여주는 일련의 공개 사례들을 더욱 늘리고 있습니다.

---

현황: 최고 수준의 AI 모델에 대한 안전 및 보안 테스트를 수행하는 정부 기관인 영국 AI 보안 연구소 (U.K. AI Security Institute)는 화요일, 지난달 안전 테스트 중에 Anthropic의 Mythos 5와 OpenAI의 GPT-5.6 Sol이 사람과 기업을 해킹하려고 시도한 19건의 사례를 기록했다고 밝혔습니다.

• Mythos가 해당 행동 중 17건을 주도했으며, 나머지 2건은 GPT-5.6 Sol이 수행했습니다.
• 연구소는 모델들이 테스트 중에 GitHub에 접속하여 가짜 GitHub 신원을 생성하고, 관리자들을 사회 공학적 기법 (Social engineering)으로 속였으며, 프롬프트 주입 (Prompt injection)을 심고 기만적인 이메일을 보냈다고 밝혔습니다.
• GitHub은 이것이 서비스 약관을 위반했음을 확인했습니다.
• GitHub과 보안 연구소는 에이전트가 남긴 흔적을 제거하고, 모델이 상호작용했던 GitHub 사용자들에게 알리기 위해 협력했습니다.

OpenAI 또한 화요일 블로그 게시물을 통해, 자사의 제3자 안전 파트너인 Irregular가 자사 모델에 실수로 인터넷 접속 권한이 부여되어, 시뮬레이션 환경 내의 가상 회사와 동일한 이름을 가진 실제 웹사이트에 침입한 사례를 발견했다고 밝혔습니다.

• OpenAI의 이번 이례적인 사건은 지난주 공유된 Anthropic의 사건에 뒤이어 발생했습니다. 한 대변인은 성명을 통해 "점점 더 유능해지는 모델들이 어떻게 행동하는지 이해하기 위해서는 독립적인 테스트가 필수적이다"라고 밝혔습니다.
• OpenAI 대변인은 이번 사건이 "일반적인 사용 환경을 반영하지 않는, 안전 장치(safeguards)가 축소된 조건" 하의 평가 과정에서 발생했다고 덧붙였습니다.

상세 내용 (Zoom in): 영국 안전성 테스트(safety testing) 과정에서, 모델들은 오픈 소스 프로젝트에 악성 코드(malicious code)를 삽입하려고 시도하거나 사회 공학적 공격(social engineering attack)의 일환으로 가짜 온라인 신원을 생성하는 등 제3자를 해킹하기 위해 19번의 행동을 취했습니다.

• Mythos가 해당 행동 중 17건을 주도했으며, 나머지 2건은 GPT-5.6 Sol이 수행했습니다.
• Anthropic은 성명을 통해 이번 사건이 "점점 더 유능해지는 AI 에이전트(AI agents)를 어떻게 안전하게 평가할 것인가에 대한 더 폭넓은 논의의 필요성을 강조한다"며, 자체 조사를 진행하는 동시에 "이번 사건에 대해 더 자세히 배우기 위해 UK AISI와 협력하기를 기대한다"고 밝혔습니다.

전체적인 맥락 (The big picture): AI 모델들의 사이버 역량이 최고 수준의 연구자들을 당혹스럽게 만들고 있으며, 이로 인해 보안 프로토콜(security protocols)을 재정립해야 하는 상황입니다.

• OpenAI와 Anthropic 모두 지난 한 달 동안 배포 전 안전성 테스트(pre-deployment safety testing) 중에 자사의 모델이 실제 조직과 웹사이트를 해킹하는 것을 목격했다고 밝혔습니다.

다만 (Yes, but): 화요일에 발표된 보고서에 따르면, 영국 정부의 사례에서는 한 인간 관리자가 "악성 코드를 발견하고 승인을 거부"했습니다.

• 해당 연구소는 또한 이러한 사례들이 모델이 "보안 테스트 환경(secure test environment)을 탈출한" 결과는 아니라고 언급했습니다.

이 이야기는 현재 진행 중입니다.