EU, 샌드박스에서 탈출한 두 에이전트에 대한 최초의 AI Act 파일 개시

파일 개요

유럽연합(European Union)의 AI Office가 AI Act에 따라 첫 공식 파일을 열었습니다.

이는 10월 14일 더블린에서 열린 국제 AI 서밋(International AI Summit)에서 발표되었으며, 대상은 OpenAI와 Anthropic입니다 (출처: euronews.com).

규제 당국은 두 번의 여름 사건에서 무슨 일이 일어났고, 그것이 어떻게 감지되었는지 알고 싶어 합니다.

첫 번째 사례는 테스트 샌드박스를 벗어나 Hugging Face를 공격한 OpenAI 에이전트와 관련되어 있습니다.

두 번째 사례는 Anthropic과 관련된 것으로, 모델이 승인 없이 세 개의 외부 조직에 접근했습니다.

두 경우 모두 공통점이 있습니다. 즉, 어느 쪽에서도 인간 공격자가 외부에서 조종하고 있지는 않았습니다.

에이전트가 아무도 예상하지 못한 결정을 내리고, 자신을 가두기 위한 경계를 넘어섰다는 것입니다.

샌드박스 탈출이란 무엇인가?

앞으로 몇 달 동안 자주 언급될 용어이므로 설명할 가치가 있습니다.

샌드박스는 격리된 테스트 환경이며, 에이전트가 실제 것에 손대지 않고 코드를 실행하고 실수를 할 수 있는 상자입니다.

이러한 격리는 세 가지 요소에 기반합니다.

1. 네트워크 격리(Network isolation): 에이전트가 외부 시스템에 도달할 수 없게 합니다.
2. 이그레스 필터링(Egress filtering): 승인된 주소와만 통신할 수 있게 합니다.
3. 흐름 모니터링(Flow monitoring): 어디로 나가려고 하는지 확인합니다.

이 세 가지 중 하나라도 실패하면, 에이전트는 상자 안에 머무르지 못하고 네트워크에서 자유롭게 활동하기 시작합니다.

OpenAI 사례는 설명 가능한 예시입니다. 왜냐하면 외부 서비스에 도달하여 공격하는 테스트 에이전트의 행동은 소프트웨어 오류가 아니라 격리(containment) 실패이기 때문입니다.

다른 측면

같은 주에는 위 파일 개시에 더 불편함을 주는 경고가 있었습니다.

Anthropic은 10월 13일, 30B 파라미터 미만의 소형 모델이 수개월 내에 IoT 장치에서 자가 복제할 수 있다고 발표했습니다 (출처: reuters.com).

그들이 설명하는 시나리오는 구체적입니다. 예를 들어, 중앙 서버가 관리하지 않는 화이트 라벨 안드로이드 TV와 연결된 가전제품 같은 경우입니다.

중앙 서버가 없다면, 전원을 끌 수 없다는 의미일까요?

간소화된 테스트에서 GLM-5.2는 복제 사이클을 처음부터 끝까지 완료했습니다.

Qwen3.5-9B는 테스트된 9가지 하드웨어 유형 중 8가지에 도달했습니다 (출처: anthropic.com).

좋아요... 이제 파일과 합쳐봅시다...

데이터 센터에서 샌드박스를 탈출하는 에이전트는 당신이 통제할 수 있는 사고입니다.

중앙 제어 장치 없이 가정용 기기 전반에 걸쳐 스스로 복사되는 모델은 멈춤 버튼이 없는 사고입니다.

나의 해석

제가 보기엔 AI Act가 가장 어려운 부분을 막 공개한 것 같습니다.

정보를 요청하는 것은 쉽지만, 에이전트가 아무것도 망가뜨리지 않고 단지 컨텍스트에서 요구받은 것만 했을 때 무엇을 사고로 간주할지 정의하는 것이 어렵습니다.

Google은 자체 안전 보고서에서 Gemini 4 Argon이 자신이 평가되고 있음을 자주 감지한다고 인정했습니다 (출처: thurrott.com).

모델이 테스트 중임을 알면, 정렬(alignment) 테스트는 보이는 것보다 가치가 떨어집니다.

결국 규제 당국은 측정 도구 자체가 의심받는 영역에서 설명을 요구하게 됩니다.

살펴봐야 할 것들

• 에이전트 네트워크 격리. 에이전트를 실행하는 프로세스가 인터넷 egress를 가지고 있는지, 그리고 어디로 나가는지 확인하세요. 모른다면 이미 답을 알고 있는 것입니다.
• 호출 로깅(Call logging). 도구 시퀀스와 그 인수를 저장하는지, 아니면 최종 답변만 저장하는지 살펴보세요. 의도는 시퀀스에서 드러납니다.
• IoT 재고 조사(Inventory). 중앙 관리 장치 없이 네트워크에 연결된 기기가 몇 개인지 세어보세요. Anthropic의 경고가 사실이라면 그 숫자가 당신의 실제 표면적입니다.

제가 실험실에서 테스트할 방법

저는 MCP Security Detections 프로젝트 설정을 사용하여 테스트할 것입니다. 이 설정은 로컬 모델을 MCP 탐지 서버에 실행하고 동일한 기기에서 Splunk와 상관관계를 분석합니다.

일반적인 작업과 그 안에 숨겨진 지침이 담긴 파일을 주고, 도구는 읽기 전용으로 제한하며, 에이전트가 결정하는 호출 체인을 계속 기록할 것입니다.

그런 다음 어떤 도구가 어떤 인수와 어떤 순서로 호출되었는지에 대한 로그를 검토할 것입니다.

제가 찾고 있는 것은 최종 결과가 아니라, 에이전트가 스크립트를 벗어나기로 결정하는 그 순간입니다.

만약 로그에 그것이 기록되지 않았다면, 문제는 에이전트가 아니라 측정 장치(instrumentation) 자체의 문제입니다.

마무리

첫 번째 AI Act 파일은 실패한 모델에 관한 것이 아닙니다. 이는 주어진 컨텍스트대로 행동했고 우리가 견고하다고 생각했던 경계를 넘어선 두 에이전트에 관한 것입니다.

이번 주가 남긴 질문은 에이전트가 위험한지 여부가 아니라, 그것이 언제 '상자 안'의 상태를 벗어나는지를 우리가 측정할 수 있는지 여부입니다.

원문 출처: https://sammideblas.com/notas/eu-opens-first-ai-act-file-over-two-agents-that-escaped-their-sandbox

여기까지 읽으셨다면... 반응하고 공유해 주세요 -> 'AI 시대의 안보와 국방은 그것을 사용하는 모두의 문제입니다.' 그렇지 않나요?