감독 모델이 에이전트가 행동하기 시작하면 왜 부족해지는가

감독형(Supervised) AI 도구는 초안을 건네주고 기다립니다. 당신이 그것을 읽고, 수정하고, 출시 여부를 결정합니다. 하지만 에이전트(Agent)는 기다리지 않습니다. 에이전트는 지원 티켓을 읽고, 데이터베이스를 조회하고, CRM 레코드를 업데이트하고, 이메일을 몇 통 보내고, 후속 조치를 예약하며, 누군가가 결과를 확인하기도 전에 그 작업의 대부분을 완료합니다.

그 밑단에 있는 모델은 동일할 수 있습니다. 하지만 감독(Oversight) 문제는 완전히 다른 차원의 문제입니다.

운영 환경에서 실행되는 대부분의 거버넌스 프레임워크(Governance frameworks)는 첫 번째 유형의 시스템을 위해 작성되었습니다. 이들은 결과가 영향을 미치기 전에 사람이 각 출력을 확인한다고 가정하므로, 통제 장치가 승인 시점에 집중되어 있습니다. 이러한 설계는 AI가 무언가를 생성하고 멈출 때는 잘 작동합니다. 하지만 에이전트가 시스템과 계정에 걸쳐 일련의 동작을 체인(Chain)으로 연결하여, 각 단계가 다음 단계를 설정하고 아무도 문 앞을 지키고 있지 않은 순간에는 설계가 무너집니다.

데이터는 이 격차가 얼마나 커졌는지 보여줍니다. McKinsey의 2026 AI 신뢰 성숙도 조사에 따르면, 배포 범위가 계속 확장됨에도 불구하고 전략, 거버넌스 및 에이전트형 AI(Agentic AI) 통제 측면에서 성숙도 레벨 3 이상에 도달한 조직은 약 30%에 불과했습니다. 기술적 역량은 앞서 나가고 있습니다. 책임을 묻기 위해 마련된 감독 구조는 뒤처지고 있으며, 그 거리는 계속해서 벌어지고 있습니다.

시퀀스(Sequences)는 감독이 포착해야 할 대상을 변화시킨다

감독형 가드레일(Guardrails)이 에이전트에게 부족한 이유는 두 시스템이 실패하는 방식의 차이 때문입니다. 감독형 도구는 단일 지점에서 실패합니다. 잘못된 초안을 생성하면 사람이 이를 잡아내고, 비용은 거기서 멈춥니다.

에이전트는 경로를 따라 실패합니다. 하나의 입력을 잘못 읽으면, 그 읽기 값을 바탕으로 행동하고, 그 이후의 모든 행동은 해당 오류를 상속받습니다. 누군가 이를 알아차릴 때쯤이면, 에이전트는 이미 다섯 개의 시스템을 건드렸을 것이며 원래의 실수는 세 단계 전으로 파묻혀 버립니다.

이것이 바로 보안 및 리스크 우려가 에이전트형 AI (Agentic AI) 확장의 장벽 목록 최상단에 위치하게 된 이유이며, 동일한 설문 조사에서 응답자의 약 3분의 2가 이를 언급했습니다. 우려의 초점이 역량 (Capability)에서 제어 (Control)로 이동한 것입니다. 팀들은 에이전트가 명시적으로 지시받지 않은 행동을 했을 때 어떤 일이 발생하는지, 그리고 누군가가 그 사건의 연쇄 과정을 되돌릴 수 있을 만큼 충분히 재구성할 수 있는지 알고 싶어 합니다.

에이전트를 위해 구축된 거버넌스 프레임워크 (Governance framework)는 종착점이 아닌 시퀀스 (Sequence, 순서)를 고려해야 합니다. 이는 에이전트가 접촉할 수 있는 경계를 정의하고, 최종 출력물에 체크포인트 (Checkpoint)를 덧붙이는 대신 경로 내에 체크포인트를 구축하며, 에이전트가 의도된 범위를 벗어나 작동할 때 어떤 일이 발생할지를 사전에 결정하는 것을 의미합니다.

모든 에이전트의 결정을 추적 가능하게 만들기

에이전트가 여러 시스템에 걸쳐 행동할 때, 사후에 가질 수 있는 가장 가치 있는 것은 에이전트가 왜 그런 행동을 했는지, 어떤 입력이 어떤 행동을 트리거 (Trigger)했는지, 그리고 어떤 결정이 어떤 결과를 낳았는지에 대한 기록입니다. 그러한 흔적이 없다면, 사고는 증거가 없는 포렌식 (Forensic) 작업이 되어버리며, 팀은 이미 상황이 종료되어 버린 시스템을 두고 추측만 해야 하는 처지에 놓이게 됩니다.

McKinsey의 설문 조사에 따르면 AI 사고 발생률은 약 8%로 안정적으로 유지되고 있지만, 조직이 이에 대응하는 방식에 대한 신뢰도는 떨어졌습니다. 사고를 경험한 응답자의 약 60%는 조직의 대응 수준을 '만족할 만한 수준(satisfactory)'보다 나을 것이 없다고 평가했습니다. 사고 빈도는 정체되어 있습니다. 이러한 사고를 추적하고, 설명하고, 억제 (Contain)하는 능력은 사고를 일으키는 시스템의 복잡성을 따라가지 못하고 뒤처져 있습니다.

추적 가능성 (Traceability)은 규정 준수 (Compliance)의 문제가 되기 이전에 엔지니어링의 문제입니다. 이는 인간이 재구성할 수 있는 형태로 에이전트의 추론 (Reasoning)과 행동 (Actions)을 기록하고, 단일 결정이 그 트리거 (Trigger)까지 추적될 수 있도록 시스템을 설계하며, 문제가 발생한 후에 추가하는 것이 아니라 아키텍처 (Architecture) 자체에 감사 추적 (Audit trail)을 구축하는 것을 의미합니다.

스스로를 설명할 수 없는 에이전트는 거버넌스 (Govern)할 수 없는 에이전트입니다.

거버넌스는 규정 준수에 도달하기 전, 엔지니어링 단계에 있어야 합니다

많은 조직이 무엇이 올바른 상태인지 규제가 알려주기를 기다리고 있습니다. 그러한 본능은 이해할 수 있지만, 동시에 취약하기도 합니다. 독립형 시스템에 대한 EU AI Act의 고위험 의무 사항은 원래 2026년 8월에 적용될 예정이었으나, 2026년 5월 EU 입법가들은 대부분의 의무 사항을 2027년 12월로 미루는 정치적 합의에 도달했습니다.

투명성 (Transparency) 규칙은 여전히 2026년 8월에 적용되지만, 많은 팀이 기준으로 삼고 계획했던 주요 마감 기한은 1년 이상 뒤로 밀려났습니다.

이것이 바로 규제 일정에 맞춰 에이전트 감독 (Agentic oversight)을 수행할 때 발생하는 핵심적인 문제입니다. 일정은 정치적 협상을 반영할 뿐, 귀하의 특정 에이전트가 어떻게 실패하는지, 무엇에 접근할 수 있는지, 또는 에이전트가 이탈 (Drift)할 때 어떻게 포착할 수 있는지에 대해서는 아무것도 알려주지 않습니다. 그것들은 엔지니어링 질문이며, 아키텍처를 이해하는 사람들에 의해서만 제대로 답변될 수 있습니다.

다음에 던져야 할 질문

에이전트형 거버넌스 (Agentic governance)는 몇 가지 정직한 질문으로 귀결됩니다:

• 이 에이전트는 어디까지 접근할 수 있는가?
• 무언가 잘못되었을 때 에이전트는 어떻게 행동하는가?
• 모든 결과를 그것을 유발한 결정으로 어떻게 추적할 수 있는가?

이 질문들에 답할 수 있는 팀은 이미 대기업 고객이나 규제 기관이 요구하는 사항들을 구축한 것입니다. 즉, 제한된 권한 (Bounded access)을 가진 에이전트, 오류 발생 시 정의된 대응 방식, 그리고 실제로 누군가가 따라갈 수 있는 감사 추적 (Audit trail)을 갖춘 것입니다.

이제 처음에 설명했던 에이전트를 다시 떠올려 보십시오. 그 에이전트는 누군가가 결과를 확인하기도 전에 티켓을 읽고, 데이터베이스를 조회하고, 레코드를 업데이트하고, 이메일을 발송했습니다. 이 시나리오에서 감독(Oversight)은 해당 체인의 마지막 단계가 될 때까지 기다립니다.

워크플로우가 어떻게 달라질 수 있는지 이해하기 위해 이러한 질문들을 적용해 보십시오. 그렇게 하면 제어(Control)가 최종 출력물에 머무는 대신, 에이전트가 실행되기 전 시스템을 구축한 사람들에 의해 시스템 내부(Inside the system)에 위치하게 됩니다.

여러분의 에이전트는 이미 라이브 시스템 전반에서 작동하고 있으며, 여러분을 보호할 수 있는 유일한 거버넌스(Governance)는 에이전트의 작동 방식 자체에 내장된 형태뿐입니다.

…

Nick Talwar는 CTO이자 전 Microsoft 직원이며, 경영진이 AI 도입을 헤쳐 나갈 수 있도록 지원하는 실무형 AI 엔지니어입니다. 그는 수익(Bottom-line)에 영향을 미치는 AI 우선 전략(AI-first strategies)에 대한 통찰을 공유합니다.

→ LinkedIn에서 그를 팔로우하여 그의 최신 생각을 확인하세요.

→ 라이브 세션 시청을 통해 규제가 엄격한 산업의 리더들이 수동 작업을 줄이고 ROI를 높이기 위해 AI를 어떻게 활용하는지 확인하세요.