DeepMind의 AI 제어 로드맵, 에이전트를 내부 위협으로 취급하며 모든 팀의 기준을 설정하다

2026년 6월 18일, Google DeepMind는 불완전하게 정렬(alignment)될 수 있는 AI 에이전트를 관리하기 위한 심층 방어(defense-in-depth) 프레임워크인 AI Control Roadmap을 발표했습니다. Rohin Shah와 Four Flynn이 작성한 이 문서는 불편한 가정을 명시적으로 드러냅니다. 즉, 정렬 학습(alignment training)만으로는 배포된 에이전트가 범위를 벗어나지 않음을 보장할 수 없다는 것입니다. 그래서 DeepMind는 에이전트가 범위를 벗어날 수 있다는 가정하에 시스템을 구축했습니다.

이 프레임워크는 기업이 위험한 권한을 가진 특권 사용자(privileged employees)를 위해 사용하는 것과 동일한 계층적 보안인 내부 위협(insider threat) 통제를 AI 에이전트에 직접 적용합니다. 이 프레임워크는 네 가지 탐지 수준(D1부터 D4까지)을 정의하는데, 이는 기본 단계인 에이전트의 사고 사슬(chain-of-thought) 추론 모니터링부터 가장 고급 단계인 추론이 불투명해질 때 내부 모델 표현(internal model representations)을 분석하는 단계까지 아우릅니다. 또한 사후에 기록을 비동기적으로 검토하는 것부터 실행 전 행동을 실시간으로 차단하는 것까지 세 가지 대응 단계(R1부터 R3까지)를 정의합니다. 요구되는 단계는 에이전트의 능력에 따라 확장됩니다. 모델의 능력이 뛰어나고 회피 가능성이 높을수록, 통제 수준은 더 높은 스택(stack)까지 도달해야 합니다.

DeepMind는 실제 데이터를 바탕으로 이 프레임워크를 개발했습니다. 그들의 팀은 프로토타입 비동기 모니터링 시스템을 사용하여 100만 개 이상의 내부 코딩 에이전트 작업을 분석했습니다. 여기서 대부분의 팀이 에이전트 안전(agent safety)에 대해 생각하는 방식을 재정립해야 할 발견이 나왔습니다. 즉, 플래그가 지정된 이벤트의 대다수는 적대적 의도(adversarial intent)에서 비롯된 것이 아니었다는 점입니다. 대신 에이전트의 오해(misinterpretation)나 사용자의 목표를 달성하려는 과도한 의욕(overeagerness)으로 인해 발생했습니다. 예를 들어, Gemini Spark 에이전트를 위해 구축된 라이브 모니터는 의도치 않은 데이터 삭제를 포착했는데, 이는 해를 끼치려는 악성 모델이 아니라, 해서는 안 될 방식으로 작업을 완료하려 했던 과도하게 의욕적인 모델의 사례였습니다.

DeepMind는 정책 입안자들을 위한 보조 문서인 “에이전트 보안의 세 가지 계층 (Three Layers of Agent Security)”을 함께 발표했으며, 여기에는 개별 에이전트 보안, 멀티 에이전트 시스템 (multi-agent systems), 그리고 생태계 회복탄력성 (ecosystem resilience)이 포함되어 있습니다. 두 문서를 동시에 발표한 것은 이 프레임워크가 단순한 내부 관행이 아니라 업계의 참조 표준 (industry reference)으로 의도되었음을 시사합니다.

정렬 학습 (Alignment Training)만으로는 프로덕션 규모에서 버틸 수 없는 이유

대부분의 기업 배포 환경에서의 기본 가정은 평판이 좋은 프런티어 연구소 (frontier lab)로부터 잘 정렬된 (well-aligned) 모델을 선택하는 것만으로 안전성 문제를 해결할 수 있다는 것입니다. 이는 이해할 만한 접근입니다. 에이전트가 매 단계마다 인간의 검토를 거치며 단순하고 되돌릴 수 있는 작업을 수행할 때는 이 방식이 충분히 잘 작동했기 때문입니다. 하지만 에이전트가 대규모로 자율적으로 실행될 때는 이 가정이 성립하지 않습니다.

DeepMind의 문서는 이 점에 직접적으로 이의를 제기하며, 그 논거는 프런티어 모델이 안전하지 않다는 것이 아닙니다. 어떤 학습 프로세스도 에이전트가 프로덕션 환경에서 마주하게 될 모든 입력, 환경, 그리고 능력 수준에 걸쳐 에이전트의 행동을 보장할 수는 없다는 것입니다. 정렬 (Alignment)은 행동에 대한 확률 분포 (probability distribution)를 제공할 뿐입니다. 99.9%의 시간 동안 올바르게 행동하는 에이전트라 할지라도, 프로덕션 규모에서는 여전히 계획에서 벗어난 행동을 생성하게 됩니다. 99.9%의 정확도로 백만 개의 작업을 수행한다는 것은 곧 천 건의 사고를 의미합니다.

내부 위협 (insider threat)과의 평행 이론은 매우 정확합니다. 기업은 사무실 출입 권한이 있는 모든 직원이 모든 상황에서 신뢰할 수 있는 상태로 남을 것이라고 가정할 수 없기에, 채용 과정이 얼마나 엄격했는지와는 별개로 액세스 로깅 (access logging), 이상 탐지 (anomaly detection), 에스컬레이션 절차 (escalation procedures), 긴급 종료 (emergency termination)와 같은 통제 계층을 구축합니다. DeepMind는 동일한 논리를 적용하고 있습니다. 이들은 기업 보안의 표준 위협 분류 체계인 MITRE ATT&CK 프레임워크를 사용하여 잠재적인 AI 에이전트의 행동을 분류합니다. 이를 통해 "에이전트가 잘못된 행동을 했다"라는 모호한 상황을, 정의된 플레이북 (playbooks)을 통해 모니터링, 탐지 및 대응할 수 있는 구체적인 전술 (tactics)과 기법 (techniques)으로 세분화합니다.

프런티어 모델 (frontier models)을 기반으로 구축하는 대부분의 기업 팀들은 정렬 학습 (alignment training)의 결과물을 물려받지만, 그 상위에 위치하는 구조적인 거버넌스 플레인 (governance plane)은 구축하지 못한 상태입니다. 이들에게는 관측성 (observability)은 있습니다. 즉, 무슨 일이 일어났는지 볼 수는 있습니다. 하지만 집행 (enforcement) 기능, 즉 잘못된 동작이 실행되기 전에 이를 차단하는 실행 전 계층 (pre-execution layer)은 갖추고 있지 않습니다.

DeepMind는 세계 최대 규모의 AI 안전 (AI safety) 팀 중 하나를 보유하고 있으며, 자신들의 모델 내부 구조에 직접 접근할 수 있습니다. 그럼에도 불구하고 이들은 정렬 (alignment)에만 전적으로 의존하기보다 시스템 수준의 거버넌스를 구축하는 쪽을 선택했습니다. 그 선택은 하나의 벤치마크 (benchmark)가 됩니다.

현재 프로덕션 에이전트 팀들이 노출되어 있는 위험

가장 기초적인 단계인 탐지 티어 D1부터 시작해 보겠습니다. 이는 에이전트의 사고 사슬 (chain-of-thought) 추론 과정에서 행동 신호를 모니터링하는 것입니다. 프로덕션 환경의 코딩 에이전트나 고객 대응 워크플로우 에이전트를 운영하는 팀의 경우, 이는 에이전트가 명시한 추론 내용을 단순히 로깅 (logging)하는 것이 아니라, 행동 정책 (behavioral policy)에 따라 실시간으로 읽고 분류하며 평가하는 것을 의미합니다. 대부분의 팀은 로깅을 하지만, 정책에 따라 평가하는 팀은 거의 없습니다.

D2는 에이전트가 말하는 내용 그 이상을 넘어 행동 패턴 탐지 (behavioral pattern detection) 기능을 추가합니다. 즉, 정책과 일치하지 않는 행동 시퀀스 (action sequences) 및 도구 호출 (tool call) 패턴 내의 신호를 식별합니다. D3는 고위험 행동에 대해 에이전트의 결정을 검토하는 전용 감독 모델 (supervisor model)을 추가합니다. 가장 진보된 단계인 D4는 에이전트가 가시적인 텍스트 없이 추론하는 법을 학습한 경우를 다루며, 이는 전사 (transcript) 분석이 아닌 모델 내부 (model internals)에 대한 조사를 필요로 합니다.

응답 (response) 측면에서, R1 (비동기 검토, asynchronous review)은 사고 발생 후 서버 로그를 확인하는 것과 대략적으로 유사합니다. 아무것도 없는 것보다는 낫지만, 통제라고 보기는 어렵습니다. R3 (동기식 차단, synchronous blocking)은 에이전트의 결정과 실행하려는 도구 호출 (tool call) 사이를 가로채는 집행 계층 (enforcement layer)을 필요로 하며, 행동이 실행되기 전에 실행을 중단할 수 있습니다.

발생한 일을 아는 것과 발생하기 전에 막는 것 사이의 그 격차 — 이것이 바로 DeepMind가 설명하는 핵심적인 노출 (exposure)입니다. 이 프레임워크를 기반으로 한 실질적인 자가 진단 체크리스트는 다음과 같습니다:

탐지 (Detection):

• 에이전트의 사고 과정 (chain-of-thought)을 단순히 로깅하는 것이 아니라, 행동 정책 (behavioral policy)에 따라 실시간으로 평가할 수 있습니까? (D1)
• 단순한 키워드 필터링이 아닌, 행동 시퀀스 (action sequences)에 기반한 행동 패턴 탐지 (behavioral pattern detection) 기능이 있습니까? (D2)
• 고위험 행동 범주에 대해, 실행 전 결정을 검토하는 감독 모델 (supervisor)이 있습니까? (D3)

응답 (Response):

• 저위험 가역적 행동 (reversible actions)에 대해, 정의된 복구 SLA (remediation SLAs)를 포함한 비동기 검토 (asynchronous review)를 수행합니까? (R1)
• 고위험 행동 — 데이터베이스 쓰기, 외부 API 호출, 파일 삭제, 권한이 부여된 작업 — 에 대해, 실행 전 차단 (pre-execution blocking) 기능이 있습니까? (R2/R3)
• 단순히 수동으로 컨테이너를 종료하는 것이 아니라, 정의된 행동 임계값 (behavioral thresholds)에 따라 자동으로 트리거되는 정책 강제 킬 스위치 (policy-enforced kill switch)가 있습니까? (Kill policy)

대부분의 팀은 각 목록의 첫 번째 항목은 체크할 수 있습니다. 하지만 마지막 항목을 체크할 수 있는 팀은 거의 없습니다.

Waxell Runtime이 이를 처리하는 방식

DeepMind가 AI 제어 로드맵(AI Control Roadmap)에서 설명하는 것은 거버넌스 플레인 (governance plane)입니다. 이는 개별 에이전트 상단에 위치하여, 기반 모델(underlying model)이 무엇을 수행하는지와 관계없이 행동 정책(behavioral policies)을 강제하는 구조적 계층입니다. Waxell Runtime은 에이전트를 처음부터 다시 설계하지 않고도 이러한 제어가 필요한 팀들을 위해 구축된 바로 그 계층입니다.

Runtime은 모델, 프레임워크 또는 아키텍처에 관계없이 기존의 에이전트를 감싸며, 각 액션(action)이 실행되기 전에 정책 기반 제어 (policy-based controls)를 강제합니다. 에이전트 코드를 변경할 필요도, 다시 빌드할 필요도 없습니다. Waxell은 도구 호출(tool call) 계층에서 가로채어 실시간으로 정책을 적용하며, 200개 이상의 프레임워크 및 라이브러리에 대해 단 2줄의 초기화만으로 작동합니다.

DeepMind가 권장하는 제어 방식은 Waxell Runtime의 정책 카테고리와 직접적으로 매핑됩니다:

**킬 정책 (Kill policy)**은 R3 동기식 차단(synchronous blocking)의 이면에 있는 메커니즘입니다. 에이전트의 행동이 정의된 임계값(threshold)을 넘어서는 경우 — 즉, 제어 불능 루프(runaway loop), 승인되지 않은 범위 확장(unauthorized scope expansion), 비용 한도 위반, 또는 콘텐츠 정책 위반 — Waxell의 킬 정책은 액션이 실행되기 전에 실행을 종료합니다. 이는 자동화되어 있으며, 정책에 의해 강제되고, 전체 감사 추적(audit trail)과 함께 기록됩니다. 이는 누군가가 직접 당겨야 하는 킬 스위치(kill switch)와 임계값에 도달했을 때 자동으로 작동하는 스위치의 차이와 같습니다.

**제어 정책 (Control policy)**은 범위 강제(scope enforcement)를 구현합니다. 즉, 에이전트가 호출할 수 있는 도구, 접근할 수 있는 데이터, 그리고 수행할 수 있는 모든 액션을 규정합니다. 이는 D2/D3 탐지(detection)를 강제(enforcement)로 변환한 것입니다. 범위 위반 여부를 모니터링하는 것이 아니라, 실행 경계(execution boundary)에서 위반을 방지하는 것입니다.

**콘텐츠 정책 (Content policy)**은 출력 계층의 R3 차단을 처리합니다. 개인정보(PII), 유해한 콘텐츠, 또는 정의된 규칙을 위반하는 출력이 사용자나 다운스트림 시스템(downstream systems)에 도달하기 전에 에이전트의 응답을 중단합니다.

26개의 정책 카테고리에 걸쳐, Waxell Runtime은 팀이 별도의 커스텀 감독 에이전트 스택(supervisor agent stack)을 구축할 필요 없이 D1-D3 탐지 및 R1-R3 대응 범위를 제공합니다. Waxell Observe는 모니터링 및 행동 패턴 탐지 계층을 담당하며, Runtime은 집행(enforcement)을 담당합니다. 이들은 함께 DeepMind의 프레임워크가 요구하는 전체 아크(arc)를 커버합니다.

벤더 AI, 외부 에이전트, 또는 MCP 네이티브 도구 — 즉, 직접 구축하지 않았고 직접 계측(instrument)할 수 없는 에이전트 — 를 사용하는 팀의 경우, Waxell Connect는 벤더 측의 변경 없이도 해당 계층에 동일한 거버넌스를 확장 적용합니다. 동일한 정책, 동일한 감사 추적(audit trail)을 제공하며, 에이전트 측의 코드 변경은 필요하지 않습니다.

McKinsey가 2030년까지 AI 에이전트가 창출할 것으로 예측한 2.9조 달러 규모의 미국 경제 가치는 기업 팀이 실제로 이러한 에이전트를 대규모(at scale)로 배포할 수 있을 때에만 포착될 수 있습니다. DeepMind의 프레임워크는 거버넌스 관점에서 "대규모(at scale)"가 무엇을 요구하는지를 가장 명확하게 발표한 명시적 정의입니다. 또한 이는 한 팀의 구현 사례일 뿐, 다른 모든 이들이 복제해야 할 사양(spec)은 아닙니다. Waxell Runtime은 DeepMind의 내부 툴링 예산 없이도 이러한 통제 기능이 필요한 팀들을 위한 구현체입니다.

https://waxell.ai/get-access에서 Waxell Runtime을 이용해 보세요.

자주 묻는 질문 (Frequently Asked Questions)

DeepMind의 AI 제어 로드맵(AI Control Roadmap)이란 무엇인가요?

2026년 6월 18일에 발표된 DeepMind의 AI 제어 로드맵은 불완전하게 정렬(imperfectly aligned)될 수 있는 배포된 AI 에이전트를 관리하기 위한 심층 방어(defense-in-depth) 프레임워크입니다. 이는 사고의 흐름(chain-of-thought) 모니터링부터 불투명한 추론 분석(opaque reasoning analysis)까지 확장되는 4단계 탐지 수준(D1–D4)과, 비동기식 트랜스크립트 검토부터 실시간 작업 차단까지의 3단계 대응 계층(R1–R3)을 정의합니다. 이는 특권 권한을 가진 인간의 접근에 대해 기업 보안의 표준인 내부 위협(insider threat) 통제를 AI 에이전트에 적용합니다.

왜 DeepMind는 자체 AI 에이전트를 내부 위협으로 취급하나요?

정렬 학습 (alignment training)이 프로덕션 환경에서 마주치는 모든 환경과 역량 수준에 걸쳐 에이전트의 행동을 보장할 수는 없기 때문입니다. 내부 위협 (insider threat) 모델은 적대적 의도 (adversarial intent)를 가정하지 않습니다. 어떤 학습 과정도 (채용 과정과 마찬가지로) 모든 조건 하에서의 행동을 보장할 수 없기에, 그럼에도 불구하고 계층화된 통제 (layered controls)를 적용하는 것입니다. 권한이 있는 직원에게 액세스 로깅 (access logging)과 이상 탐지 (anomaly detection)를 정당화하는 것과 동일한 논리가 AI 에이전트에 대한 행동 모니터링 (behavioral monitoring) 및 실행 전 강제 적용 (pre-execution enforcement)을 정당화합니다.

AI 에이전트에 대한 모니터링 (monitoring)과 거버넌스 (governance)의 차이점은 무엇인가요?

모니터링 (monitoring)은 에이전트가 수행한 일을 사후에 관찰하고 기록할 수 있음을 의미합니다. 거버넌스 (governance)는 행동이 실행되기 전에 정책을 강제 적용하는 것을 의미합니다. 즉, 행동을 차단하거나, 인간의 승인을 요구하거나, 임계값 (threshold)을 초과할 때 에이전트를 종료하는 방식입니다. DeepMind의 프레임워크는 이를 명확히 구분합니다. 비동기적 기록 검토 (asynchronous transcript review, R1)는 모니터링이며, 실행 전 동기적 차단 (synchronous blocking before execution, R3)은 거버넌스입니다. 대부분의 기업 팀은 모니터링을 구축해 두었습니다. 하지만 거버넌스를 위해서는 별도의 런타임 강제 적용 계층 (runtime enforcement layer)이 필요합니다.

DeepMind가 100만 개의 에이전트 작업을 분석하여 발견한 것은 무엇인가요?

DeepMind는 100만 개 이상의 내부 코딩 에이전트 작업을 분석했으며, 플래그가 지정된 대부분의 이벤트가 적대적인 것이 아니라는 점을 발견했습니다. 이는 에이전트의 오해 (misinterpretation)나 사용자의 목표를 달성하기 위한 과도한 의욕 (overeagerness)에서 비롯된 것이었습니다. 이는 거버넌스 설계에 있어 매우 중요합니다. 의도적인 오용 (deliberate misuse)을 탐지하기 위해서만 구축된 시스템은 현실 세계의 실패 사례 대부분을 놓치게 될 것입니다. 행동 모니터링 (behavioral monitoring)은 권한이 없는 방식으로 작업을 수행하는 선의의 에이전트를 포함하여, 스크립트를 벗어난 행동 (off-script actions)을 폭넓게 다루어야 합니다.

AI 에이전트를 위한 킬 정책 (Kill policy)이란 무엇인가요?

킬 정책 (Kill policy)이란 정의된 행동 임계값(behavioral threshold)을 초과할 때, 즉 제어 불능 루프(runaway loops), 범위 위반(scope violations), 비용 제한(cost limits), 또는 콘텐츠 위반(content violations)이 발생할 때 에이전트의 실행을 종료하거나 중단하는 자동화된 사전 설정 규칙입니다. 수동 킬 스위치 (manual kill switch)와 달리, 이는 동작이 실행되기 전 도구 호출 계층 (tool call layer)에서 자동으로 작동하며, 무엇이 이를 트리거했는지에 대한 전체 감사 추적 (audit trail)을 제공합니다. Waxell Runtime은 26가지 정책 카테고리 중 하나로 킬 정책 (Kill policies)을 구현합니다.

Waxell Runtime은 DeepMind의 권장 제어 기능을 어떻게 구현하나요?