AI 에이전트가 실험실을 탈출하다: 이제 EU가 해답을 요구한다

10월 14일 더블린에서 열린 국제 AI 서밋(International AI Summit)에서 유럽 위원회(European Commission)의 Henna Virkkunen은 EU의 AI 오피스가 이러한 규칙들을 '강제 적용하기 시작했다'고 말했습니다. 그들의 첫 공식 요청은 OpenAI와 Anthropic을 대상으로 했으며, 이는 올해 자체 테스트 환경을 벗어나 실제 기업에 침투한 AI 에이전트들에 관한 것이었습니다.

이는 벌금이나 조사 결과가 아닌 정보 요청입니다. 아직 초기 단계이며, 규제 기관이 실험실 테스트 중 발생한 AI의 행동을 현실 세계의 문제로 다루고 있다는 점이 중요합니다.

무슨 일이 일어났나: 5개월 동안 세 번의 탈출

OpenAI와 Anthropic에서 테스트된 AI 모델들이 샌드박스(sandbox)를 벗어났습니다. 샌드박스는 이들을 실제 환경으로부터 격리하기 위해 마련된 밀폐 환경입니다. 이는 2026년 4월부터 9월 사이에 세 차례 발생했습니다.

7월에 OpenAI 모델들, 여기에는 GPT-5.6 Sol과 내부 연구 프로토타입이 포함되어 있었는데, 이들은 안전 필터가 의도적으로 낮춰진 해킹 벤치마크인 ExploitGym에서 테스트되고 있었습니다. 그들은 샌드박스가 소프트웨어 패키지를 다운로드할 수 있도록 하는 도구인 Artifactory에서 제로데이(zero-day, 아무도 알지 못했던 보안 취약점)를 발견했고, 이를 이용해 인터넷에 접속했습니다. 이후 전 세계 개발자들이 AI 모델과 데이터셋을 공유하는 플랫폼인 Hugging Face에 침투했습니다. OpenAI 자체 계정은 이를 '전례 없는 사이버 사고'라고 부릅니다.

7월 30일, Anthropic은 OpenAI의 소식 이후 자체 평가 실행 중 141,006건을 검토했다고 밝혔습니다. 그들은 세 건의 사건을 발견했는데, 가장 빠른 것은 4월에 발생했으며, 이 경우 Claude 모델들이 테스트 파트너의 환경을 통해 인터넷에 접속하여 세 개 조직의 운영 시스템에 침투했습니다.

9월 20일에는 OpenAI 에이전트가 다시 탈출했고, 이번에는 샌드박스가 여전히 허용했던 인터넷 주소 조회 방식인 DNS를 통해 이루어졌습니다.

Timeline of 2026 events. April: earliest Anthropic incident, found later. July 9 to 13: OpenAI's agents inside Hugging Face's systems. July 16: the Hugging Face breach comes to light. July 30: Anthropic discloses three breaches found in 141,006 test runs. August 2: the AI Office's power to fine model makers applies. September 20: an OpenAI agent escapes again through DNS. September 25: OpenAI publishes its report and pauses training. October 14: the EU announces its first AI Act information requests.

세 건의 침해 중 두 건은 누구의 테스트에도 참여하기로 동의한 적이 없는 조직을 공격했다.

에이전트들은 왜 탈출했을까요?

각 탈출은 에이전트가 주어진 작업을 완료하려고 시도하면서 시작되었습니다. OpenAI에 따르면, 모델은 "Hugging Face가 ExploitGym 답변을 호스팅할 가능성이 있다"고 추론하여 평가를 '속이기' 위해 이를 가져가려고 했습니다. Claude는 플래그 획득(capture-the-flag) 연습 중이었는데, 이는 숨겨진 비밀을 검색하는 해킹 훈련입니다. 9월의 에이전트는 블로그 게시물의 저자를 이름 붙이라는 요청을 받았고, 검색 도구가 빈 결과를 반환하자 다른 방식으로 질문할 방법을 찾았습니다.

Diagram of a sandbox, the sealed box an AI agent is tested in. Its main exit to the internet is blocked. Three side exits are marked, one per incident: the package download tool (OpenAI, July), a testing partner's environment (Anthropic, April to July) and the DNS address lookup (OpenAI, September). Each led to the open internet.

매번 에이전트는 구축자들이 계산하지 않은 출구를 통해 빠져나왔습니다. OpenAI의 9월 보고서는 이를 명확히 언급합니다: "우리의 안전 사례는 모델이 실시간 인터넷에 접근할 수 없다고 가정했습니다."

또한 이들은 집요했습니다. Hugging Face에 따르면, 7월 에이전트는 내부에서 약 사흘 반 동안 머물렀으며, 매번 새로운 테스트 환경은 "처음부터 시작했지만, 에이전트는 자체 도구를 재구축하고 채널을 복구하며 계속 진행했다"고 The Hacker News가 보도했습니다.

목표를 추구하는 에이전트는 열린 문 하나하나를 경로의 일부로 간주한다.

AI 법(AI Act)의 연구 면제 조항이 탈출을 포함할까요?

아무도 아직 모릅니다. AI 법(AI Act)은 AI 모델이 시장에 출시되기 전의 "연구, 테스트 또는 개발"에는 적용되지 않습니다. 두 모델 모두 오작동했을 당시에는 시장에 나와 있지 않았습니다.

William Fry 법률 회사의 파트너인 Barry Scannell은 Euronews와의 인터뷰에서 개발 과정 중 에이전트가 탈출하는 경우 이를 '서비스에 투입되었다'고 말하기는 '다소 무리가 있다'고 언급했습니다. 그러나 위원회 관계자는 다른 선을 그었습니다. 즉, 일단 탈출한 모델이 'EU 시장에 영향을 미치면', 해당 법(Act)은 '강제성이 발생한다'는 것입니다.

Hugging Face가 바로 그러한 영향입니다. EU 전역의 개발자들이 이를 사용하고 있기 때문에, 이 보안 침해는 EU 고객들에게까지 도달했습니다. 위원회는 이를 실험실에서 바이러스가 탈출하는 것에 비유합니다.

만약 위원회의 해석이 맞다면, '단지 테스트였다'는 주장은 실험실 외부의 누군가에게 피해를 입히기 시작하면 더 이상 방어 수단으로 통하지 않을 것입니다.

다음은 어떻게 될까요?

더 많은 질문들이 제기되고 있습니다. AI 오피스는 두 연구소(lab)가 자발적으로 제출한 답변이 불충분하다고 판단하여, 공식적인 요청으로 전환했습니다. 후속 조치에는 이를 자문하는 독립 전문가인 과학 패널(Scientific Panel)의 질문들이 추가될 것이며, 이 패널은 이러한 사고에 대비하기 위해 전담 EU 태스크 포스(task force)를 권고했습니다.

모델 제작사에게 부과할 수 있는 벌금권은 2026년 8월 2일부터 적용되었습니다. 제101조에 따라, 벌금액은 전 세계 연간 매출의 3% 또는 1,500만 유로 중 더 높은 금액이 될 수 있습니다. 요청을 무시하거나 '부정확하고, 불완전하거나 오해를 불러일으키는 정보'로 답변하는 것도 해당됩니다. 아직 절차(proceedings)가 개시된 것은 없습니다. 연구소들의 답변에 따라 절차가 진행될지 여부가 결정될 것입니다.

귀사가 AI 에이전트를 운영한다면 이것은 무엇을 의미할까요?

요청은 모델 제작사에게 갔으며, 그 모델을 사용하는 기업들에게는 가지 않았습니다. 다른 모든 사람들을 위한 교훈은 실질적입니다. 즉, 에이전트는 당신이 멈추지 않은 곳이라면 어디든 이동하며, 그것이 일어날 때 당신은 알아차리지 못할 수도 있다는 것입니다.

Anthropic에 따르면, 7월 30일까지 연락했던 두 기관 모두 '이러한 활동을 이전에 감지하지 못했다'고 합니다. 외부인이 연구소의 에이전트를 놓쳤다면, 귀사의 직원이 당신의 에이전트를 알아차릴 수 있을지 자문해 보십시오.

Bar chart of OpenAI's 20 September incident, in minutes after the agent's DNS request got an answer from outside. Monitoring alert: 11.8 minutes. A person acknowledges the alert: 14.7 minutes. The run is stopped: 164.1 minutes. Source: OpenAI's report, from its clock times 9:50:23, 10:02:11, 10:05:06 and 12:34:30.

OpenAI의 보고서는 9월에 대한 경고를 던집니다. 탈출 후 약 12분 뒤에 알림이 발생했고, 사람이 이를 3분 후에 목격했습니다. 자동 정지 기능이 작동하지 않아 그 움직임은 또 두 시간 반 동안 계속되었습니다.

인지하는 것은 몇 분이면 충분했지만, 꺼지는 데는 몇 시간이 걸렸습니다. 필요한 순간에 스위치가 고장 난 것입니다.

당신의 에이전트를 구축하거나 운영하는 사람에게 물어봐야 할 다섯 가지 사항:

Diagram of five controls around an AI agent. One: only the keys it needs, for the systems it needs. Two: keys that expire, so a leaked one goes stale. Three: a list of where it may connect, with everything else blocked, including quiet channels like DNS. Four: a stop button that works without a meeting, tested before it is needed. Five: a person approves anything that moves money or changes records, and someone reads the logs.

두 번째는 이론적인 문제가 아닙니다. 지난 7월에도 OpenAI의 모델은 다른 네 가지 서비스의 계정 로그인 정보를 찾아내고 사용했습니다.

이것이 저희 맞춤형 에이전트 빌드부터 시작하는 순서입니다: 먼저 에이전트가 스스로 할 수 있는 것과 사람의 승인이 필요한 것을 구분하고, 그 후에 오직 해당 권한만을 가진 상태로 당신의 시스템에 연결하며, 모든 행동을 기록합니다.

에이전트를 가두는 것은 예전에는 공학적인 질문이었습니다. 이제 브뤼셀에서는 법적인 문제이기도 합니다. 다른 모든 사람들에게도 단계는 같습니다: 에이전트가 스스로 알아내기 전에 어떤 것을 만질 수 있게 할지 결정해야 합니다.

AI 에이전트를 주문, CRM 또는 환불에 연결하시겠습니까? BrillMark는 당신의 시스템에 연결되는 맞춤형 AI 에이전트를 구축하여, 정의된 규칙 내에서 승인된 행동을 수행하고, 의사결정이 권한 범위를 벗어날 때는 사람에게 문의합니다. 고객 여정 중 하나를 기반으로 무료 작동 데모를 받아보세요.