Gartner는 2027년까지 기업의 40%가 운영 중 사고가 발생한 후에야 발견되는 거버넌스(Governance) 공백으로 인해 자율형 AI 에이전트(AI agents)의 등급을 낮추거나 폐기할 것이라고 예측합니다.

무언가 잘못되었을 때의 본능적인 대응은 다음과 같습니다: 그것을 죽이거나(kill), 액세스 권한을 취소하거나, 지갑을 동결하거나, 가동을 중단하는 것입니다.

Cerbos는 현재 CISO(정보보호최고책임자)들이 채택하고 있는 반론을 발표했습니다: "허용하거나 취소한다. 배포하거나 죽인다. 이는 실험실에서는 작동합니다. 하지만 병원, 은행, 결제 네트워크, 또는 에이전트가 인간이 하던 일을 수행하고 있어서 즉각적인 중단이 방지하려던 사고보다 더 큰 다른 사고를 유발하는 환경에서는 작동하지 않습니다."

킬 스위치(Kill switch)는 두 번째 사고를 유발합니다. 업계에는 디머 스위치(Dimmer switch, 밝기 조절 스위치)가 필요합니다.

이진적 중단(Binary Stop)이 연쇄 실패를 일으키는 이유

결제를 처리하는 AI 에이전트는 독립적인 프로그램이 아닙니다. 그것은 워크플로(Workflow)에 내장되어 있습니다. 다른 에이전트들이 그 출력값에 의존하며, 다운스트림 시스템(Downstream systems)은 그 응답을 기다립니다. 고객은 거래가 진행 중인 상태입니다.

# 워크플로 중간에 에이전트를 죽이면 발생하는 일:

# 에이전트: procurement_bot (공급업체 결제 처리)
...

mintmcp는 이 간극을 기록했습니다: "대부분의 조직은 AI 에이전트가 무엇을 하고 있는지 모니터링할 수는 있지만, 무언가 잘못되었을 때 이를 멈출 수는 없습니다." 에이전트를 멈출 수 있는 조직들은 그 중단 행위 자체가 자체적인 피해를 만든다는 사실을 깨닫게 됩니다.

디머 스위치 패턴 (The Dimmer Switch Pattern)

이진적인 On/Off 대신, 운영 환경의 에이전트 거버넌스(Agent governance)에는 단계적인 대응이 필요합니다:

from rosud_pay import Governance, DimmerSwitch

# 운영 단계의 에이전트 제어 (이진적 킬 방식이 아님):
...

40% 폐기 문제

Gartner의 40% 예측은 에이전트의 능력에 관한 것이 아닙니다. 그것은 거버넌스 대응에 관한 것입니다. 운영 중 사고에 대한 유일한 대응책이 "전원을 끄는 것"뿐일 때, 조직은 해당 에이전트가 운영하기에 너무 위험하다고 결론 내립니다.

builtin은 이 패턴을 기록했습니다: 기업들은 이제 AI 에이전트를 JIT(Just-in-time, 적시) 액세스와 즉각적인 킬 스위치가 필요한 일급 신원(First-class identities)으로 취급합니다. 하지만 킬 스위치만으로는 불충분합니다. 그들에게 실제로 필요한 것은:

기업들이 에이전트를 폐기한 후 발견하는 사실:

decommission_reasons = {
...

단계적 제어(Graduated Control)의 비즈니스 사례

lumenova는 다음과 같은 변화를 기록했습니다: AI 거버넌스 성숙도(AI governance maturity)는 이제 신용 등급처럼 취급됩니다. 기관 고객들은 권한을 부여하기 전에 모델 계보(model lineage), 환각률(hallucination rates), 그리고 거버넌스 역량에 대한 증명을 요구합니다.

에이전트를 폐기하는 조직은 투자를 손실하게 됩니다. 단계적 제어(graduated control)를 갖춘 조직은 사고 발생 시에도 에이전트를 안전하게 계속 실행합니다:

- 사고 감지: 자율성(autonomy)을 줄임 (종료하는 것이 아님)
- 조사 진행: 에이전트가 제한된 수준에서 계속 작동
- 근본 원인 발견: 수정 사항 배포, 자율성 복구
- 2차 사고 없음. 고립된 트랜잭션(orphaned transactions) 없음. SLA 위반 없음.
- 에이전트가 운영 환경(production)에 유지됨. 투자 보존.

결론 (The Bottom Line)

킬 스위치(kill switch)는 에이전트의 40%가 폐기될 이유입니다. 에이전트가 위험하기 때문이 아닙니다. 위험에 대한 유일한 대응책이 파괴이기 때문입니다. 그것은 거버넌스(governance)가 아닙니다. 그것은 포기하는 것입니다.

[rosud-pay](https://www.rosud.com/rosud-pay)는 에이전트 지출을 위한 디머 스위치(dimmer switch, 조광 스위치)를 제공합니다. 5단계의 단계적 대응(graduated response). 이상 징후 탐지 시 자동 에스컬레이션(escalation). 해결 시 자동 디에스컬레이션(de-escalation). 진행 중인 트랜잭션 보호. 고립된 결제(orphaned payments) 제로. 2차 사고 제로.

사고가 발생해도 에이전트를 안전하게 계속 실행하십시오. 에이전트를 죽이고 그것을 거버넌스라고 부르지 마십시오.

_단계적 에이전트 제어 구현하기: [rosud.com/docs](https://www.rosud.com/docs)_