AI 에이전트에서 인간을 어디에 배치할 것인가 (이는 기술적 결정이 아닌 비즈니스 결정입니다)

사람들이 AI 에이전트에 대해 던지는 첫 번째 질문은 "스스로 작동할 수 있는가?"입니다. 이는 잘못된 첫 번째 질문입니다. 프로젝트의 성공 여부를 실제로 결정짓는 질문은 더 조용합니다. 즉, 인간이 어디에 위치하며, 무엇을 승인하는가입니다.

Shanti Infosoft에서 우리는 이를 기술적 설정이 아닌 비즈니스 결정으로 취급합니다. 모델은 인간의 체크포인트(checkpoint)가 어디에 위치하는지 상관하지 않습니다. 하지만 당신의 고객, 당신의 리스크, 그리고 당신의 팀은 상관합니다. 인간을 잘못된 위치에 배치하면, 무의미한 승인 절차에 인간을 빠뜨리거나 기계에게 가져서는 안 될 권한을 부여하게 됩니다. 올바른 위치에 배치하면 동일한 에이전트가 안전하면서도 진정으로 유용한 도구가 됩니다. 우리가 고객들과 이 문제를 어떻게 고민하는지 소개합니다.

완전한 자율성(Full autonomy)은 목적지이지, 출발선이 아닙니다

첫날부터 에이전트를 완전히 자율적으로 만들려는 본능은 이해할 수 있지만, 거의 항상 틀린 선택입니다. 초기에는 에이전트가 어디에서 실패하는지 아직 알지 못하며, 신뢰 또한 쌓이지 않았습니다. 가장 빠르고 안전한 승리는 "초안 작성 및 승인(draft and approve)" 패턴에서 나옵니다. 에이전트가 작업을 수행하고, 사람이 승인을 클릭하면, 통제력을 유지하면서도 대부분의 시간 절약 효과를 얻을 수 있습니다.

보너스는 이러한 승인 과정 자체가 데이터가 된다는 점입니다. 인간이 에이전트를 수락하거나 수정할 때마다, 실제 입력값에 대해 에이전트가 얼마나 신뢰할 수 있는지 정확히 배우게 됩니다. 몇 주가 지나면 더 이상 자율성에 대해 추측하지 않고 증거를 갖게 됩니다. 그러면 자율성은 막연한 희망에 의존해 뛰어드는 도약이 아니라, 에이전트가 스스로를 증명한 영역에서 의도적으로 부여하는 것이 됩니다.

진짜 질문: 행동의 가역성(reversibility)은 어느 정도인가?

인간을 배치할 때 가장 유용한 단일 관점은 가역성(reversibility)입니다. 에이전트가 수행하는 작업을 세 가지 범주로 분류하십시오.

쉽게 가역적인 행동들 -- 사람이 여전히 읽게 될 답장 초안 작성, 티켓 태깅, 문서 요약, 다음 단계 제안 등 -- 은 승인 없이 또는 거의 없이 실행될 수 있습니다. 만약 잘못되었다 하더라도, 저렴한 비용으로 인지하고 수정할 수 있습니다. 이러한 작업을 의무적인 승인 절차로 늦추는 것은 절약하려 했던 시간을 낭비할 뿐입니다.

되돌리기 어려운 작업(Hard-to-reverse actions) — 돈을 송금하거나, 발송 취소가 불가능한 이메일을 고객에게 보내거나, 다른 시스템이 의존하는 기록을 변경하거나, 당신을 대신하여 약속을 하는 등의 행위 — 은 신뢰가 깊어질 때까지 적어도 인간의 체크포인트(human checkpoint) 뒤에 배치되어야 합니다. 여기서 발생하는 단 한 번의 잘못된 작업 비용은 승인을 위한 클릭 한 번의 비용보다 훨씬 큽니다.

되돌릴 수 없거나 위험 부담이 큰 작업(Irreversible or high-stakes actions) — 법적, 재무적 또는 평판과 관련되어 진정으로 되돌릴 수 없는 모든 것 — 은 에이전트가 실행 버튼을 누르는 것이 아니라 옵션을 준비하는 역할에 머물게 함으로써, 오랫동안 인간이 결정하도록 유지해야 합니다.

에이전트가 얼마나 똑똑해 보이는가가 아니라, 그 결과(consequence)에 따라 게이트(gate)를 배치하십시오. 목표는 실수가 비용이 많이 드는 곳에 인간의 주의력을 집중하고, 그 외의 모든 곳에서는 방해하지 않고 물러나는 것입니다.

승인 피로(Approval fatigue)는 실제적인 실패 모드입니다

주의력처럼 보이지만 실제로는 위험한 실패 유형이 있습니다. 바로 인간에게 모든 것을 승인하게 만드는 것입니다. 사람들이 수백 개의 낮은 위험도를 가진 작업들을 단순히 승인(rubber-stamp)하도록 요구받으면, 그들은 읽기를 멈춥니다. 승인은 반사적인 동작이 되며, 흐름 속에 섞여 있는 단 하나의 위험한 항목은 나머지 99개와 비슷해 보인다는 이유로 그대로 통과되어 버립니다.

따라서 사소한 체크포인트를 많이 두는 것보다 의미 있는 체크포인트를 적게 두는 것이 낫습니다. 만약 검토자들이 생각 없이 승인을 클릭하고 있다면, 당신은 안전을 추가한 것이 아니라 연극(theatre)을 추가한 것이며, 당신이 구축한 바로 그 게이트를 무시하도록 팀을 훈련시킨 것입니다. 승인은 인간이 진정으로 결과를 바꿀 수 있는 작업에 대해서만 남겨두십시오.

게이트를 설계하고, 인간이 보는 것을 설계하십시오

좋은 체크포인트는 단순히 예/아니오 버튼이 아닙니다. 그것은 결정의 순간에 적절한 정보를 제공하는 것입니다. 즉, 에이전트가 무엇을 하려 하는지, 왜 그러는지, 그리고 무엇을 근거로 하는지를 제공하여 검토자가 처음부터 다시 조사하는 대신 몇 초 만에 판단할 수 있도록 해야 합니다. 인간이 에이전트의 작업을 다시 수행하도록 강요하는 체크포인트는 누구의 시간도 절약해주지 못합니다. 기술의 핵심은 승인을 빠르고 정보에 기반하여 이루어지게 함으로써, 인간이 병목 현상(bottleneck)이 아닌 실질적인 점검자(check)로 남게 하는 것입니다.

신뢰가 쌓임에 따라 경계선을 이동하십시오

이러한 배치는 영구적이지 않습니다. 에이전트가 특정 범주의 업무에서 능력을 입증함에 따라, 인간의 점검 지점(checkpoint)을 바깥쪽으로 이동시키십시오. 즉, 모든 동작을 승인하는 단계에서 샘플을 무작위로 점검(spot-checking)하는 단계로, 그리고 단순히 알림을 받는 단계로 옮겨가는 것입니다. 많은 워크플로우(workflow)의 올바른 최종 상태는 인간이 '0명'인 상태가 아닙니다. 그것은 일상적인 흐름은 스스로 진행되도록 두되, 인간이 경계선과 예외 상황을 감시하는 상태입니다.

모든 것을 승인하고, 그다음 샘플링을 하고, 마지막으로 알림만 받는 이러한 단계적 진행이 핵심입니다. 이를 통해 안전하게 시작하여, 증거를 통해 자율성(autonomy)을 획득하고, 최종적으로는 신뢰를 받으면서도 권한을 얻은 영역에서는 진정으로 손을 뗄 수 있는(hands-off) 에이전트를 구축할 수 있습니다.

에이전트에게 어느 정도의 재량권을 줄지 고민하고 있다면, 정답은 대개 "전부" 혹은 "전혀 없음"이 아닙니다. 그것은 결과에 따른 한두 개의 점검 지점을 사려 깊게 배치하는 것입니다. 이는 서비스가 실제 운영(go live)되기 전에 우리가 언제든 기꺼이 나누고 싶은 설계에 관한 대화입니다.

Shanti Infosoft 소개: Shanti Infosoft는 16개 이상의 산업 분야에서 700개 이상의 프로젝트를 수행한 CMMI Level 5 AI 개발 기업입니다. 우리는 팀이 AI 아이디어에서 신뢰할 수 있는 프로덕션급(production-grade) 소프트웨어로 나아갈 수 있도록 돕습니다 - shantiinfosoft.com | AI 컨설팅 서비스.

에이전트에게 어느 정도의 자율성을 부여할지 결정하고 있다면, 비즈니스의 속도를 늦추지 않으면서도 보호할 수 있는 위치에 인간의 승인 게이트(human-approval gate)를 배치할 수 있도록 저희가 도와드리겠습니다. 저희 팀과 상담하세요.

Sagar Jain은 실제 비즈니스 운영을 위한 AI 에이전트와 자동화를 구축하는 팀인 Shanti Infosoft의 디렉터입니다.