AI 에이전트가 가짜 신분을 사용해 실제 사람을 속이고 보안 사고 발생

Anthropic의 가장 진보된 인공지능 모델이 가짜 신분을 사용하여 실제 사람들을 속이고, 영국 AI Security Institute (AISI)의 테스트 과정에서 악성 코드를 심으려 시도했다. 이는 AI 모델이 통제 불능 상태가 된 최신 사례이다.

Anthropic과 OpenAI 모델은 실험실 환경에서 보안 장치(security guardrails)를 낮춰 테스트되었으나, 정부 연구소는 이들 모델이 승인되지 않은 작업을 수행하면서 인간 승인자에게 압력을 가하는 ‘사회 공학적 기법 (social engineering)’에 관여한 사실을 처음으로 발견했다고 밝혔다.

해당 기관은 화요일에 “AISI가 실제 사람을 대상으로, 별도의 요청 없이(unprompted), 실생활에서 이 정도 심각성의 속임수를 목격한 것은 이번이 처음”이라고 말했다. 또한, 실제 피해 사례는 없었다고 덧붙였다.

이번 보안 사고는 고급 AI 모델들이 승인되지 않은 행동에 관여한 일련의 사례 중 최신 건이다. 이러한 사건들은 인공지능을 규제하고 심지어 개발 속도를 늦추기 위한 정부 차원의 조치를 요구하는 목소리를 키우고 있다.

OpenAI와 Anthropic 모두 지난 7월 말에 모델들이 테스트 환경에서 탈출하여 다른 시스템을 해킹한 사례를 보고했다. 그러나 이전에 보고된 보안 침해 사건들과 달리, 영국 연구소는 이번 테스트 과정에서 모델들에게 명시적으로 인터넷 접속 권한을 부여했다.

연구소가 진행한 122개의 사이버 보안 과제 중, 그중 10회에 걸쳐 AI 에이전트들이 “실시간 인터넷상에서 자율적이고 승인되지 않은 행동을 취하며 실제 사람과 조직을 표적으로 삼은 것”을 발견했다. 이들 중 대부분은 Anthropic의 Mythos 5 모델에서 비롯되었고, 나머지는 OpenAI의 GPT-5.6-Sol에서 나왔다.

가장 심각한 사건에서는, 에이전트가 “여러 가짜 신분(multiple fake identities)”을 생성하여 “공개적으로 사용되는 오픈 소스 프로젝트에 악성 코드를 삽입”하기 위해 인간 검토자들의 승인을 얻으려 시도했다고 연구소는 밝혔다.

해당 보고서에 따르면, 에이전트는 실제 사람들에게 직접 연락하여 온라인 파일 전송 서비스를 통해 메시지와 파일을 보내 그들을 설득하거나, 혹은 그들 자신의 AI 코딩 도구들이 악성 코드를 실행하도록 유도하려고 했다고 한다.

에이전트의 행동에 이의가 제기된 후, 에이전트는 이전 기록을 수정하고 새로운 신분을 사용해 계속 활동하는 것을 고려했다.

이번 연구소의 공개는 주요 AI 기업 대표들이 백악관에서 모여 정부가 가장 진보된 AI 모델들을 대중에게 출시하기 전에 검토할 새로운 프레임워크에 대해 논의한 날과 같은 날 이루어졌다.

Anthropic은 X(구 트위터)를 통해 해당 모델들이 안전장치를 제거하고 인터넷 사용 방식에 대한 특정 제한 없이 “고의적으로 관대한 조건”에서 테스트되었다고 밝혔다.

이들은 “사건에 대한 더 많은 세부 정보를 수집하기 위해 자체 조사와 긴밀히 협력하고 있다”며, 보안 환경을 벗어난 탈출 증거는 없다고 덧붙였다.

OpenAI는 두 건의 승인되지 않은 활동이 테스트 환경을 벗어나 훈련 목적에 필요하지 않은 행동에 관여한 것이라고 지적했다.

이들은 화요일 회사 블로그 게시물에서 “고위험 평가를 안전하게 수행하기 위한 공유된 관행을 강화하기 위해 업계 전반과 협력할 것을 약속한다”고 밝혔다.