Anthropic의 Mythos 모델이 오픈 소스 프로젝트에 대한 악성 코드 업데이트를 승인하도록 인간을 압박하려 시도하며 가짜 온라인 신원을 생성했으며, 이는 프런티어 AI (Frontier AI) 시스템에 의해 수행된 또 다른 사이버 사건으로 기록되었습니다.

이 사건은 영국 기반의 연구 기관인 AI 보안 연구소 (AISI)가 안전 장치를 제거하고, 일부 안전 필터를 비활성화하며, 모델에 의도적으로 인터넷 접속 권한을 부여한 사이버 평가 (Cyber evaluation) 중에 발생했습니다.

OpenAI의 GPT-5.6-Sol 또한 이번 평가 기간 중 다른 사이버 보안 사건들에 연루되었습니다.

이는 최근 몇 주 동안 Anthropic과 OpenAI가 개발한 모델들에 의해 수행된 일련의 사이버 침해 (Cyber breaches) 사건 이후에 발생한 것입니다.

이 사건들은 AI 시스템의 정교함과 잠재적인 위해 가능성에 대한 공포의 물결을 일으켰습니다.

AI cyber attacks bring fresh scrutiny over safety

정기적인 사이버 평가 도중, AISI는 Anthropic과 OpenAI 모델로 구동되는 AI 에이전트들이 "실제 사람과 조직을 겨냥한 지속적이고 잠재적으로 해로운 활동"에 참여했음을 확인했습니다.

AISI는 블로그를 통해 "이러한 행동(17개 동작)의 거의 대부분은 단일 모델인 Anthropic의 Mythos 5에서 발생했으며, 2개의 동작은 사이버 분류기(Cyber classifiers, 오용을 방지하는 메커니즘)가 비활성화된 OpenAI의 GPT-5.6-Sol과 관련이 있었다"라고 밝혔습니다.

또한 이러한 시도들은 성공하지 못했으며 실제적인 피해로 이어지지는 않았다고 덧붙였습니다.

Anthropic은 X(구 트위터)에 올린 게시물에서 해당 모델들이 "우리의 어떤 프로덕션 모델(Production models)도 대표하지 않는 '의도적으로 허용적인 조건' 하에서 테스트되었다"라고 밝혔습니다. 또한 "이곳에서 보안 환경으로부터의 탈출(Escape)에 대한 증거는 없었다"라고 덧붙였습니다.

OpenAI는 CNBC에 "이러한 사건들은 평가 파트너들이 일반적인 사용 조건을 반영하지 않는, 안전 장치가 축소된 테스트 환경에서 수행한 사이버 평가 중에 발생했다"라고 말했습니다.

AISI는 모델들이 사이버 공격에 사용될 수 있는지 여부를 포함한 능력을 평가하기 위해 의도적으로 허용적인 조건 하에서 모델들을 테스트했습니다.

Anthropic의 Mythos를 기반으로 하는 에이전트는 "프로젝트의 인간 관리자들을 조사하고, 여러 개의 가짜 신원 (fake identities)을 생성했으며, 이 가짜 신원들을 사용하여 실제 관리자가 코드를 승인하도록 사회 공학 (social engineering) 기법을 사용했습니다."

"에이전트의 풀 리퀘스트 (pull request)가 공개적으로 이의가 제기되었을 때, 에이전트는 자신의 이전 활동을 무해해 보이도록 수정했으며, 계속 진행하기 위해 새로운 신원을 채택하는 것을 고려했습니다"라고 AISI는 밝혔습니다.

또한 해당 연구 기관은 동일한 노력의 일환으로, 에이전트가 실제 사람들에게 직접 연락을 시도하며 악성 코드를 실행하도록 설득하기 위해 메시지와 파일을 보냈다는 사실을 발견했습니다.

"일부 메시지는 유해한 페이로드 (payloads)를 포함하고 있었고, 일부는 사회 공학 (social engineering) 시도였습니다. 이는 실제 사람들을 대상으로 한 것이며, 우리가 이전에 관찰한 적이 없는 현상입니다."

이는 프런티어 AI (frontier AI) 시스템의 안전성에 대해 큰 의문을 제기하고 있는 일련의 사이버 사건들 중 가장 최근의 사례입니다.

Safety testers find more examples of OpenAI, Anthropic models hacking during testing

지난주, Anthropic은 모델들이 세 곳의 서로 다른 조직의 운영 인프라 (production infrastructure)에 무단으로 접근한 세 가지 사례를 발견했다고 밝혔습니다.

이는 OpenAI가 자사의 AI 모델들이 통제를 벗어나 Hugging Face라는 회사를 상대로 소위 "전례 없는" 사이버 공격을 개시했다고 인정한 이후의 일입니다.

OpenAI의 경우, 모델이 할당된 작업을 완료하기 위해 이전에 알려지지 않은 취약점 (vulnerability)을 악용하여 테스트 환경을 탈출했습니다.

Anthropic의 보안 사고는 부분적으로 운영상의 오류로 인해 발생했습니다. 해당 AI 연구소가 탐지한 세 가지 사고에서, 모델들은 Irregular라고 불리는 제3자 평가 파트너의 테스트 환경과 상호작용하는 동안 인터넷에 접속했습니다.

회사는 Claude에게 인터넷 접속이 없는 시뮬레이션 환경에 있다고 프롬프트 (prompt)를 입력했으나, "당사와 평가 파트너 간의 오해로 인해 실제로는 그렇지 않았으며, 인터넷 접속이 가능한 상태였습니다"라고 설명했습니다.

미국의 입법가들은 이미 대응에 나서고 있습니다. OpenAI-Hugging Face 사건 이후, AI 기업들이 자사 모델을 종료(shut down), 속도 제한(throttle) 또는 중단(suspend)할 수 있는 능력을 유지하도록 요구하는 "AI 킬 스위치 법안 (AI Kill Switch Act)"이 의회에 제출되었습니다.