킬 스위치(Kill Switch) 없이 AI 에이전트를 출시한다면, 당신이 바로 사고의 원인이 됩니다

한 금융 봇이 환불을 무한 루프로 계속 발행했습니다. 아무도 이를 멈출 방법을 만들지 않았기 때문입니다.

깔끔한 코드. 탄탄한 로직. 하지만 정지 스위치는 없었습니다. 작은 버그가 긴 밤을 만들어냈습니다.

여기 대부분의 팀이 듣고 싶어 하지 않는 의견이 있습니다. 에이전트를 구축하는 것은 쉬운 80%에 불과합니다. 그 정지 스위치(off switch)야말로 당신이 제품을 출시할 수 있는지 여부를 결정하는 나머지 20%입니다.

우리는 잘못된 이정표를 축하하곤 합니다. 에이전트가 회의를 예약하고, 이메일을 쓰고, 기록을 업데이트하는 데모 장면을 상상해 보세요. 그 부분은 구축하는 것이 진정으로 즐겁고, 이제는 진정으로 쉽습니다. 더 어려운 것은 아무도 박수 쳐주지 않는 지루한 질문입니다. 에이전트가 틀린 답을, 빠르게, 그리고 확신에 차서 내놓을 때는 어떤 일이 벌어질까요?

AI 에이전트는 챗봇(Chatbot)이 아닙니다. 에이전트는 현실 세계에서 행동을 취합니다. 돈을 쓰고, 행(row)을 삭제하고, 실제 사람에게 메시지를 보내고, 파일을 이동합니다. 채팅에서의 오답은 짜증 나는 정도지만, 기계의 속도로 발생하는 잘못된 행동은 당신의 이름이 걸린 사고(incident)가 됩니다.

그래서 저는 기능을 만들기 전에, 정지 장치(stop)를 먼저 만듭니다.

진정한 킬 스위치(kill switch)는 단 하나의 버튼이 아닙니다. 첫 번째 버전부터 존재하는 일련의 작은 경계(bounds)라고 생각하십시오.

• 지출 한도(spend ceiling): 재시도 루프(retry loop)가 계좌 잔고를 모두 소진하지 않도록 합니다.
• 영향 범위 제한(blast radius limit): 하나의 작업이 허용된 것 이상을 절대 건드리지 못하게 합니다.
• 되돌릴 수 없는 모든 작업에 대한 인간 게이트(human gate): 에이전트가 제안하면 사람이 승인(commit)하도록 합니다.
• 재배포(redeploy) 없이 한 번에 모든 것을 중단시키는 글로벌 스톱(global stop)

이 중 어느 것도 화려하지 않습니다. 하지만 이 모든 것이 당신이 밤에 잠을 잘 수 있게 해줍니다.

팀들은 그 순간에는 합리적으로 느껴지는 이유로 이를 건너뜁니다. 경계(bounds)를 설정하는 것은 부정적인 작업처럼 느껴집니다. 그것들은 데모에서 절대 드러나지 않습니다. 당신의 에이전트는 경계 설정 없이도 잘 작동하다가, 단 한 번 작동하지 않는 순간이 오게 되며, 그 한 번의 순간이 사람들이 기억하는 유일한 순간이 됩니다.

이것은 제가 구축하는 방식을 바꾼 재정의(reframe)입니다. 정지 장치를 에이전트를 출시 가능하게(shippable) 만드는 핵심 기능으로 취급하십시오. 마지막에 덧붙이려 한다면, 당신은 이미 데모는 통과하지만 잠재적 부채(liability)를 출시한 셈입니다.

트레이드오프 (trade-off)에 대해 솔직해지십시오. 제약 사항은 당신의 속도를 늦출 것입니다. 당신은 에이전트가 기술적으로는 건너뛸 수 있었던 승인 단계를 위해 멈춰 서는 것을 지켜보게 될 것이며, 그것은 마찰 (friction)처럼 느껴질 것입니다. 그 마찰은 해당 시스템을 관리자 없이 실행하도록 내버려 두는 것에 대한 대가입니다. 값비싼 사고를 막기 위한 저렴한 보험인 셈입니다.

저의 테스트는 명확합니다. 만약 무언가 잘못되었을 때 5초 안에 어떻게 이를 중단할 수 있는지에 대해 답할 수 없다면, 해피 패스 (happy path)가 아무리 좋아 보이더라도 그 에이전트는 준비되지 않은 것입니다.

제가 목격한 대부분의 에이전트 실패는 브레이크가 없는 훌륭한 모델들로부터 발생했습니다.

당신의 차례

사람이 '예(yes)'를 누르지 않고서는 절대 실행하도록 내버려 두지 않을, 당신의 에이전트가 수행할 수 있는 단 한 가지 행동은 무엇입니까? 한 줄로 적어보세요.

이 내용이 유용했다면

저는 성공과 정체 모두를 포함하여 이 과정을 공개적으로 진행하며, 주로 LinkedIn과 YouTube를 통해 공유합니다. 공개적으로 빌드하는 (building in the open) 실제 과정이 당신에게 유용하다면, 그곳에 제 작업물이 있습니다. LinkedIn에서 연결해 주세요. 저는 YouTube와 X에서 Mirza Iqbal로 활동하고 있으며, 작업물은 next8n.com에서 확인할 수 있습니다.