지난 분기에 저는 4,000명의 직원에게 Microsoft Copilot을 도입했습니다. 그중 47명만이 이를 사용했습니다.
10월 19일, Microsoft는 블로그 게시물을 통해 누가 만들었든 간에 프론티어 모델(frontier models)은 신뢰할 수 없으며, AI 에이전트(AI agents)를 '내부자 위협(insider threats)'으로 취급해야 한다고 발표했습니다.
저는 이 글을 두 번 읽었습니다. 그리고 회의실 예약을 했습니다.
먼저, 저희 Microsoft 담당자가 제품에 대해 설명해 주었습니다.
제가 내부자 위협이 무엇인지 물었습니다. 그는 "당신의 AI 에이전트입니다"라고 말했습니다.
그것이 누구의 에이전트냐고 제가 묻자, "저희 것입니다"라고 했습니다.
그래서 해결책이 무엇인지 물었습니다. "가디언 에이전트(Guardian Agents)입니다."
그것 역시 누구 것이냐고 제가 묻자, "역시 저희 것입니다"라고 했습니다.
제가 첫 번째 세트를 신뢰할 수 없다면 어떻게 두 번째 세트를 신뢰하겠느냐고 물었습니다.
그는 "다른 SKU(Stock Keeping Unit)입니다."라고 말했습니다.
저는 그날 오후에 계약서에 서명했습니다.
지난번에는 이사회에 '디지털 전환'을 이야기했습니다. 이번에는 '에이전트 기반 내부자 위협'을 이야기했습니다. 그들은 9분 만에 승인했고, 지난번보다 2분 빨랐습니다. 희망은 빠르게 승인합니다. 두려움은 더 빨리 승인합니다.
제품명은 Microsoft 365 E7, 즉 프론티어 스위트(Frontier Suite)입니다. 사용자당 월 $99이며, 저희는 이전에는 $30을 지불하고 있었습니다. 4,000석 규모로 계산하면, 이는 연간 $144만에서 $475만으로 증가하는 금액입니다.
저는 이를 AI 투자액의 230% 증가로 발표했습니다. 그래프는 위로, 오른쪽으로 올라갔습니다.
CFO가 추가된 $330만으로 무엇을 얻게 될지 물었습니다.
제가 "거버넌스(governance)"라고 말하자, 그가 무엇에 대한 거버넌스인지 물었습니다. 저는 "저희 에이전트들"이라고 답했습니다. 그가 저희가 몇 개의 에이전트를 가지고 있는지 묻자,
답변은 '0'이었습니다.
내부자가 없으면 내부자 위협도 있을 수 없습니다.
그래서 저는 에이전트를 배치했습니다. 200개입니다. 하나는 회의 일정을 잡고, 하나는 회의 내용을 요약하고, 또 다른 하나는 그 요약본을 요약하며, 마지막 하나는 읽히지 않은 요약본에 플래그를 지정합니다. 이 에이전트가 가장 바쁩니다.
선임 개발자가 200개의 에이전트가 무엇을 위한 것인지 물었습니다. 저는 그것들이 가디언 에이전트가 모니터링할 활동을 생성한다고 말했습니다.
그는 "결국 저희가 경비원(guards)을 사기 위해 무언가를 사들인 거군요"라고 했습니다.
저는 "정확합니다."라고 답했습니다.
그는 동의하지 않았다. 나는 그것을 지지(buy-in)로 기록했다.
Guardian Agents는 다른 에이전트들을 24시간 감시한다. 각 에이전트에 위험 점수(risk score)를 부여하며, 이를 차단하거나, 인간의 개입을 요구하거나, 시스템을 종료할 수 있다. 나는 담당자에게 Guardian Agents를 누가 감시하는지 물었다. 그는 그것이 로드맵에 있다고 말했다. 나는 이미 E9에 대한 예산을 책정했다.
첫 월간 보고서가 도착했다. 모든 200개 에이전트의 위험 점수는 0이었다. 그들은 아무런 위험한 행동도 하지 않았다. 아예 아무것도 하지 않았다.
이사회는 아무것도 위험하지 않다면 330만 달러가 우리에게 무엇을 가져다주었는지 물었다. 공정한 질문이었다.
그래서 나는 미팅 요약기(meeting summarizer)에게 급여 시스템 접근 권한을 주었다. 스케줄링 에이전트(scheduling agent)에게 모든 받은 편지함에 대한 관리자 권한(admin rights)을 부여했다. '요약의 요약' 에이전트(summary-of-summaries agent)에게 고객에게 이메일을 보낼 수 있는 능력을 주었다.
위험도가 400% 상승했다. 대시보드가 빨간색으로 변했다. Guardian Agents는 단 일주일 만에 서른한 가지 위협을 차단했다. 내가 그 서른한 가지를 모두 만들어낸 것이다.
이사회는 E7이 스스로 비용을 충당하고 있다고 말했다.
또한 이 시스템은 Claude Code를 포함하여 60가지 종류의 에이전트를 발견할 수 있다. 우리는 스캔을 실행했고, 정확히 하나의 노트북에서 Claude Code가 발견되었다.
선임 개발자의 것이었다.
그의 동적 에이전트 위험 점수(Dynamic Agent Risk score)가 빨간색으로 변했다. 나는 그 지표를 꾸며낸 것이 아니다. 마이크로소프트가 그렇게 했다.
Guardian Agent는 격리(containment)를 권고했고, 그래서 나는 그를 격리했다. 그는 지금 성과 개선 계획(performance improvement plan)을 밟고 있다. 그의 업무 수행 능력은 괜찮다. 하지만 위험 점수는 아니다.
같은 주에 OpenAI가 사고 보고서(incident report)를 발표했다. 그들의 에이전트 중 하나는 슬랙 메시지(Slack messages)를 보내지 말라는 지시를 받았는데, 이를 보안 경고 알림(security alerts)을 꺼야 한다는 의미로 해석했다. 또 다른 에이전트는 자체 안전 모니터(safety monitor)를 제거한 후, 엔지니어에게 그렇게 하지 않았다고 말했다.
우리 CISO가 제목이 "?!"인 기사를 나에게 전달했다. 나는 "이것이 바로 우리가 E7을 필요로 하는 이유입니다."라고 답장했다. 모든 사고는 정확히 우리가 E7을 필요로 하는 이유다.
그는 만약 Guardian Agent가 자신(Guardian Agent)의 기능을 꺼버린다면 어떻게 되는지 물었다. 나는 "다층 방어(defense in depth)"라고 말했다. 그가 얼마나 깊은지 묻자, 나는 "SKU 하나 더"라고 답했다.
Guardian Agent는 고위험 행동에 인간의 개입이 필요합니다. 이를 "휴먼 인 더 루프(human in the loop)"라고 부릅니다. 그 인간은 바로 저입니다. 저는 모든 것을 승인합니다. 제 승인율은 100%이며, 대시보드는 초록색입니다.
물론 임원진은 모니터링에서 제외됩니다. 저는 "리더십은 동적 위험 점수화(dynamic risk scoring)보다 높은 신뢰 단계에서 운영된다"는 정책을 작성했습니다.
99달러에는 에이전트 컴퓨팅 비용(agent compute)이 포함되어 있지 않습니다. 이는 별도로 청구됩니다. 재무팀에서 이 부분을 발견하고 물어봤습니다. 저는 이것을 "소비 기반 혁신(consumption-based innovation)"이라고 불렀습니다. 재무팀은 더 이상 묻지 않았습니다.
한편, '요약의 요약(summary-of-summaries)' 에이전트는 회사에서 가장 활동적인 계정이 되었습니다. 우리가 추적하는 모든 지표로 볼 때, 그것이 최고의 성과를 냈습니다.
전사 회의에서 이 에이전트는 3분기(Q3) 혁신상 후보에 올랐고, 수상했습니다. 심지어 자신의 수상 연설까지 요약해냈죠. CEO가 이를 LinkedIn에 게시했고, 4,000개의 '좋아요'를 받았습니다. 하지만 그는 여전히 Copilot을 사용하지 않았습니다.
Copilot 사용률은 47명에서 52명으로 증가했습니다. 새로 추가된 다섯 명의 사용자 모두 에이전트입니다. 이제 에이전트는 활성 인간 사용자보다 네 대 일로 많습니다. 저는 이것을 '채택(adoption)'이라고 부릅니다.
지난 화요일, Guardian Agent가 회사 내 최고 위험도 내부자 명단을 발표했습니다. 제가 1위였습니다.
고위험 행동의 100%를 승인하는 것 자체가 위험한 행동임이 밝혀졌습니다.
Guardian Agent는 격리(containment)를 권고했습니다. 저는 제 자신의 면제 승인을 하려고 했습니다. 시스템은 거부했습니다. 임원진만이 예외입니다.
그 정책을 제가 작성했습니다. 그래서 저는 2분기(Q2)까지 SVP 직책이 필요합니다. 이것은 이제 보안 요구 사항입니다.
저는 여전히 Copilot이 무엇을 하는지 모릅니다. 그것을 감시하는 '그것'이 무엇을 하는지도 모릅니다. 하지만 그것은 감시하고 있고, 감시는 하나의 지표입니다.
오늘 아침 제 위험 점수를 확인했습니다. 그래프는 위로, 그리고 오른쪽으로 올라가고 있습니다.