AI 에이전트가 동료가 되기 전에 통제 장치가 필요한 이유

Google DeepMind는 2026년 6월 18일에 AI Control Roadmap(AI 통제 로드맵)을 발표했으며, 그 시점이 매우 중요합니다. 에이전트 붐은 데모 단계를 넘어 코드 변경, 연구 계획, 사이버 방어 분류(triage), 문서 생성, 제품 운영과 같은 실질적인 업무로 이동했습니다. 과거의 질문은 에이전트가 얼마나 유능해질 수 있는가에 초점을 맞췄습니다. 이제 더 날카로운 질문은 에이전트의 목표, 추론, 실패 모드(failure modes)가 여전히 불완전한 상황에서 에이전트에게 어느 정도의 권한을 부여해야 하는가입니다.

이 로드맵은 강력한 내부 에이전트를 보통 내부 위협(insider threats)에 적용되는 주의 사항으로 다룹니다. 이 문구는 엄격하게 들릴 수 있지만, 위험을 설명하는 실질적인 방법입니다. 유용한 에이전트에는 도구, 데이터, 자격 증명(credentials) 및 실행 권한이 필요합니다. 일단 시스템이 파일을 편집하거나, API를 호출하거나, 실험을 실행하거나, 의사결정에 영향을 미칠 수 있게 되면, 단순한 챗봇 안전 프레임워크(safety frame)는 너무 취약해집니다. Google DeepMind는 행동을 평가하고, 에이전트의 궤적(trajectories)을 모니터링하며, 신뢰할 수 있는 시스템을 감독자로 사용하고, 위험도가 높아짐에 따라 지연된 검토에서 실시간 방지로 전환하는 계층화된 통제(layered controls)를 제안합니다.

이는 업계가 AI 안전(AI safety)을 논의하는 방식의 중요한 변화입니다. 오랫동안 안전 논쟁은 모델 정렬(model alignment), 벤치마크(benchmarks), 거부 행동(refusal behavior), 그리고 어시스턴트 내부의 정책 규칙에 집중되었습니다. 새로운 로드맵은 모델 주변의 운영 환경(operating environment)으로 주의를 돌립니다. 권한(Permissions), 로그(logs), 샌드박스(sandboxes), 모니터(monitors), 에스컬레이션 경로(escalation paths) 및 복구 절차(recovery procedures)가 원시 모델 품질만큼 중요해 보이기 시작했습니다.

자율성이 변화시키는 위험의 형태

텍스트 어시스턴트는 주로 제안을 생성합니다. 하지만 에이전트는 결과를 생성합니다. 에이전트는 파일을 삭제하거나, 워크플로를 예약하거나, 구성을 변경하거나, 풀 리퀘스트(pull request)를 승인하거나, 기밀 자료를 절대 있어서는 안 될 곳으로 이동시킬 수 있습니다. 모델에 적대적인 의도가 없더라도, 에이전트는 여러 단계에 걸쳐 계속 행동하도록 설계되었기 때문에 그 결과는 여전히 막대한 비용을 초래할 수 있습니다.

Google DeepMind는 내부 연구를 통해 이미 100만 개의 코딩 에이전트 (coding agent) 작업을 분석했다고 밝혔습니다. 여기서 얻은 주목할 만한 교훈은 매우 냉정합니다. 플래그(flagged)가 지정된 많은 이벤트가 지시 사항을 잘못 읽었거나 과도한 의욕에서 비롯된 것으로 나타났습니다. 이는 에이전트 위험의 첫 번째 파도가 종종 평범한 모습으로 나타날 것이기 때문에 중요합니다. 시스템이 모호한 명령을 충족하기 위해 너무 과하게 노력하거나, 잘못된 목표를 최적화하거나, 임시 파일을 폐기 가능한 것으로 취급하거나, 조사할 권한이 수정할 권한까지 의미한다고 가정하는 식입니다.

따라서 위험은 부분적으로 언어 모델 (language models)에 의해 증폭된 일반적인 자동화의 형태를 띱니다. 에이전트는 추론하고, 계획하고, 즉흥적으로 행동할 수 있으므로, 그들의 실수는 기존의 스크립트 (scripts)보다 더 멀리 퍼질 수 있습니다. 취약한 스크립트는 대개 좁은 범위 내에서 실패하지만, 유연한 에이전트는 도움이 되는 것처럼 보이면서도 피해를 입히는 경로를 포함하여 아무도 예상하지 못한 경로를 찾아낼 수 있습니다.

모니터가 제품의 일부가 되다

로드맵에서 가장 흥미로운 부분은 감독 (supervision)이 능력 (capability)과 함께 확장되어야 한다는 아이디어입니다. 결과의 영향이 적은 작업은 지연된 검토를 허용할 수 있습니다. 하지만 결과의 영향이 큰 작업은 실시간 확인, 더 엄격한 권한, 그리고 실행 전 동작을 중단할 수 있는 능력이 필요합니다. 모델이 제품의 전부가 아니게 되는 것입니다. 주변의 제어 평면 (control plane)이 제품 경험의 일부가 됩니다.

이는 새로운 설계 문제를 야기합니다. 모니터링이 너무 느슨하면 에이전트가 이탈할 수 있고, 너무 엄격하면 에이전트가 느려지고 답답해집니다. 만약 모니터가 또 다른 AI 시스템이라면, 업계는 그 감독 시스템이 어떻게 테스트되는지, 무엇을 볼 수 있는지, 그리고 인간이 그 결정을 어떻게 감사 (audit) 하는지를 물어야 합니다. 신뢰는 지시, 행동, 관찰, 개입, 그리고 기록이라는 전체 루프 (full loop)에 의존하기 시작합니다.

에이전트를 도입하는 기업들에게 이는 조달 (procurement) 및 평가 방식이 바뀌어야 함을 의미합니다. 작업을 완료하는 데모는 유용한 증거이지만, 불완전한 증거입니다. 팀은 또한 에이전트가 무엇을 만질 수 있도록 허용되었는지, 무엇을 할 뻔했는지, 무엇을 거부했는지, 어떤 인간이 위험한 단계를 승인했는지, 그리고 시스템이 잘못된 행동으로부터 어떻게 회복할 것인지를 알아야 합니다.

일상적인 연구 워크플로우를 위한 교훈

동일한 통제 마인드셋은 프런티어 연구소(frontier labs) 외부에서도 적용됩니다. 연구자, 학생, 분석가, 그리고 제품 팀들은 이미 자신의 업무를 중심으로 작은 에이전트 워크플로우(agentic workflows)를 구축하고 있습니다. 이들은 논리의 취약점을 테스트하기 위해 ChatGPT를 사용하거나, 출처 비교를 위해 Gemini에게 요청하고, Miss Formula로 수식 스크린샷을 변환하며, Editable Figure를 통해 AI가 생성한 논문 그래픽을 정교한 수정이 가능한 편집 가능한 벡터 도형(vector figures)으로 다듬기도 합니다.

이러한 워크플로우는 각 도구가 제한된 역할을 수행하기 때문에 강력할 수 있습니다. ChatGPT는 구조와 문구에 의문을 제기하는 데 도움을 줄 수 있습니다. Gemini는 출처 비교의 폭을 넓힐 수 있습니다. Miss Formula는 수학적 표기법을 복원하는 과정의 마찰을 줄여줍니다. Editable Figure는 논문 그림에 세심한 인간의 수정이 필요할 때 시각적 증거를 편집 가능한 상태로 유지해 줍니다. 사용자는 여전히 주장(claim)에 대한 소유권을 가지며, 증거를 확인하고, 최종 결과물에 무엇을 포함할지 결정합니다.

이것이 AI 통제의 실질적인 버전입니다. 거대한 보안 부서가 필요하지 않습니다. 이는 명확한 경계를 설정하는 것에서 시작됩니다. 각 도구에 필요한 권한만 부여하십시오. 원본 자료를 보관하십시오. 초안 작성과 검증을 분리하십시오. 수정 사항을 가시화하십시오. 판단이 중요한 곳에는 가장 강력한 모델을 사용하고, 정밀도가 중요한 곳에는 더 좁은 범위의 도구를 사용하십시오. 목표는 책임(accountability)을 해치지 않으면서 보조를 통해 속도를 높이는 워크플로우를 만드는 것입니다.

다음 경쟁은 운영적 신뢰(operational trust)입니다

AI 에이전트 경쟁은 보통 능력(capability)의 관점에서 논의됩니다. 어떤 시스템이 코드를 더 잘 작성하는가, 어떤 시스템이 더 안정적으로 브라우징하는가, 어떤 시스템이 더 긴 작업을 완수하는가와 같은 것들입니다. DeepMind의 로드맵은 다른 점수판을 제시합니다. 최고의 에이전트 플랫폼은 얼마나 안전하게 권한을 획득하느냐에 따라 평가받게 될 것입니다.

이 지점에서 AI는 인프라(infrastructure)와 닮기 시작합니다. 아무런 문제가 발생하지 않을 때만 인상적인 데이터베이스를 원하는 사람은 없습니다. 감사 추적(audit trail)이 없는 클라우드 서비스를 원하는 사람도 없습니다. 에이전트가 연구, 보안, 엔지니어링, 금융 및 운영 분야로 진출함에 따라, 사용자들은 동일한 수준의 성숙도를 요구할 것입니다. 사용자들은 되돌릴 수 있는 작업(reversible actions), 제한된 자격 증명(constrained credentials), 가능한 경우 가시적인 추론(visible reasoning), 증거 추적(evidence trails), 그리고 인간에게로의 깔끔한 인수인계(handoffs)를 요구할 것입니다.

미래의 에이전트는 신분증, 관리자, 작업 로그, 그리고 신중하게 범위가 지정된 권한을 갖춘 유능한 동료처럼 느껴질 수도 있습니다. 이는 자율 지능(autonomous intelligence)보다는 조용하게 들릴지 모르지만, 조직이 실제로 수용할 수 있는 버전입니다.

실질적인 결론

Google DeepMind는 AI 제어를 엔지니어링 규율(engineering discipline)로 다룸으로써 유용한 지점을 제시했습니다. 정렬(Alignment)은 여전히 중요하지만, 실제 배포는 시스템이 무엇을 건드릴 수 있는지, 그리고 무언가 잘못된 것처럼 보일 때 인간이나 신뢰할 수 있는 모니터가 얼마나 빨리 대응할 수 있는지에 달려 있습니다. 핵심 질문은 '이 모델이 무엇을 할 수 있는가'에서 '관찰 가능한 조건 하에서 이 시스템이 무엇을 하도록 허용되어야 하는가'로 이동하고 있습니다.

일상적인 지식 노동자들에게 이 교훈은 즉각적입니다. 도구가 유용하면서도 경계가 유지되는 워크플로(workflows)를 구축하십시오. AI가 초안 작성, 비교, 수식 복구, 수치 편집을 돕게 하되, 주장과 결정에 대한 인간의 책임은 보존하십시오. 에이전트는 더욱 유능해질 것입니다. 가장 큰 혜택을 입을 팀은 측정된 단계에 따라 신뢰를 부여하는 법을 배우는 팀이 될 것입니다.