당신이 소유하는 통제된 AI: Shopify 지원의 다음 시대가 더 많은 자율성을 지향하지 않는 이유

현재 시장에 나와 있는 거의 모든 AI 고객 지원 도구에는 조용한 가정이 깔려 있습니다. 바로 목표가 **자율성 (Autonomy)**이라는 점입니다. 사람 없이 더 많은 티켓을 종결하는 것. 모델이 더 많은 결정을 내리는 것. 대시보드 상의 더 높은 "자동화율 (Automation rate)".

이는 진보처럼 들립니다. 그리고 쉬운 작업들에 대해서는 실제로 그렇습니다.

하지만 자율성 경쟁이 그냥 지나쳐 버리는, 실제 상점을 운영할 때 정말로 중요한 질문이 하나 있습니다. AI가 당신의 브랜드 이름으로 고객과 대화할 때, 누가 통제권을 가지며 누가 그것을 소유하는가?

대부분의 도구에 대한 정직한 답변은 이렇습니다. 당신이 아닙니다.

현상 유지: 당신이 빌려 쓰는 블랙박스 AI

오늘날의 AI 지원이 어떻게 작동하는지 자세히 살펴보면, 거의 모든 곳에서 세 가지 사실이 성립합니다.

1. 로직 (Logic)을 볼 수 없습니다. AI는 당신이 통제할 수 없는 모델을 기반으로, 당신이 대화하지 않는 벤더 (Vendor)에 의해 조정된 내용을 바탕으로 무엇을 말할지 결정합니다. AI가 무언가 잘못했을 때 — 정책을 지어내거나, 당신이 절대 승인하지 않을 환불을 약속하거나, 당신의 톤앤매너와 맞지 않는 말투로 답변할 때 — 당신은 고객으로부터 그 일이 이미 벌어진 후에야 알게 됩니다.

2. 계량기는 항상 돌아가고 있습니다. 해결 건당, 메시지 건당, "AI 작업 (AI action)" 건당 — 가격 책정은 당신의 상점이 성장할수록 더 많은 비용을 지불하게 되며, 종종 예측 불가능하도록 설계되어 있습니다. 그리고 아무도 언급하지 않는 함정이 있습니다. AI가 티켓을 처리하다가 실수를 했을 때, 당신은 AI의 시도에 대한 비용과 이를 수습해야 하는 사람에 대한 비용을 모두 지불하는 경우가 빈번합니다. 더 나쁜 결과에 대해 이중으로 비용을 지불하게 되는 것입니다.

3. 당신은 아무것도 소유하지 않습니다. 이 부분이 당신을 가장 괴롭혀야 할 대목입니다. 규칙, 대화 기록, 학습된 행동 양식 — 이 모든 것이 벤더의 서버에 존재합니다. 당신이 도구를 바꾸는 날 (그리고 사람들은 끊임없이 지원 도구를 바꿉니다), 당신은 빈손으로 떠나게 됩니다. 당신은 자산을 구축하고 있었던 것이 아닙니다. 당신은 목소리를 빌려 쓰고 있었을 뿐입니다.

낮은 이해관계 (low-stakes)가 걸린 질문이라면 그 모든 상황을 감수하며 살 수 있을지도 모릅니다. 하지만 고객 지원 (support)은 낮은 이해관계의 문제가 아닙니다. 환불, 반품, "제 주문은 어디에 있나요?" — 이들은 고객이 당신을 다시 믿고 구매할지 여부를 결정하는 바로 그 순간들입니다. 당신이 조종할 수도 없고 소유할 수도 없는 블랙박스 (black box)에 이러한 순간들을 넘겨주는 것을 '업그레이드'라고 부르는 것은 기이한 일입니다.

변화: 자율성 (autonomous)에서 책임성 (accountable)으로

저는 차세대 AI 지원이 자율성 (autonomy)으로 승리할 것이라고 생각하지 않습니다. 저는 그 반대되는 특성인 **책임성 (accountability)**으로 승리할 것이라고 생각합니다. 그리고 책임성에는 일정한 형태가 있습니다. 저는 이를 _당신이 소유하는 통제된 AI (governed AI you own)_라고 부르고 싶으며, 이는 세 가지 원칙에 기반합니다.

통제 (Governed): 당신이 설정한 규칙 안에서만 행동합니다. AI는 결코 당신의 비즈니스 정책을 즉흥적으로 수행해서는 안 됩니다. 환불 한도, 반품 기간, 브랜드 보이스 (brand voice), 그리고 무엇보다 중요한 — AI가 단독으로 결정할 수 있는 영역과 반드시 인간에게 넘겨야 하는 영역 사이의 경계는 당신이 설정해야 합니다. 지능 (intelligence)은 AI의 역할입니다. _무엇을 할 수 있는지에 대한 판단 (judgment)_은 당신의 몫으로 남습니다. 이것은 제약이 아닙니다. 그것이 바로 핵심입니다.

중요한 지점에서의 승인 게이트 (Approval-gated): 돈은 절대로 스스로 움직이지 않습니다. _답변하는 것 (answering)_과 행동하는 것 (acting) 사이에는 명확한 경계선이 있습니다. "주문하신 상품이 화요일에 발송되었습니다"라고 답변하는 것은 자동화해도 안전합니다. 하지만 환불을 처리하는 것은 — 당신 없이는 — 안전하지 않습니다.
올바른 설계는 AI가 모든 맥락을 포함하여 환불이나 반품을 _준비 (prepare)_해두고, 당신의 클릭 한 번을 기다리게 합니다. 당신은 실제로 리스크를 동반하는 행동들에 대해 자동화의 속도와 인간 게이트 (human gate)의 안전성을 동시에 얻게 됩니다.

소유 (Owned): 탈퇴를 포함하여 모든 것이 당신의 것입니다. 원한다면 당신의 자체 AI 키 (AI key)로 이를 실행할 수 있어야 합니다 — 당신의 서비스 제공업체 계정, 당신의 약관, 그리고 당신의 고객 대화 사이에 누구도 끼어들지 않는 환경 말입니다. 그리고 당신이 구축한 규칙, 축적된 이력, 에이전트 (agent) 그 자체 — 이것들은 타인의 플랫폼에 잡혀 있는 인질이 아니라 당신에게 속한 자산입니다. 지원 AI를 소유한다는 것은 구독 (subscription)이라기보다, 교육 내용이 회사에 남는 팀원을 채용하는 것에 더 가까운 느낌이어야 합니다.

이것이 기능이 아닌 하나의 카테고리인 이유

이 모든 내용을 단순히 있으면 좋은 기능(nice-to-haves)의 목록으로 읽고 싶은 유혹이 들 수 있습니다. 하지만 그렇지 않습니다. 이것은 핵심 질문인 _"누가 통제권을 갖는가?"_에 대한 전혀 다른 답변이며, 기존 기업(incumbents)들이 이를 모방하기 어려운 이유는 그들의 모델 전체가 정반대의 답변을 바탕으로 구축되었기 때문입니다. 그들의 경제 모델은 사용량 측정(meter)에 의존합니다. 그들의 아키텍처(architecture)는 블랙박스(black box)에 의존합니다. 그들의 락인(lock-in)은 당신이 그것을 소유하지 않는 것에 의존합니다. 정반대로 설계된 비즈니스 모델에 "당신이 이것을 소유하고 통제한다"라는 개념을 단순히 덧붙일 수는 없습니다.

이것이 바로 "당신이 소유하는 거버넌스 기반 AI (governed AI you own)"를 단순한 체크박스 항목이 아닌 하나의 카테고리로 만드는 이유입니다. "AI 지원 (AI support)"이 지난 카테고리였으며, 현재 그 분야는 포화 상태이고 범용화(commoditizing)되고 있습니다. 다음 카테고리는 책임을 진지하게 받아들이는 자의 것입니다. 즉, 가장 자율적인(autonomous) 에이전트가 아니라, 가장 거버넌스가 가능하고(governable), 가장 소유 가능하며(owned), 가장 신뢰할 수 있는(trustworthy) 에이전트의 차례입니다.

나의 입장

그것이 제가 noorflows를 통해 걸고 있는 도박입니다. 스스로 더 많은 것을 수행하는 AI가 아니라, 당신이 말하는 것을 정확히 수행하고, 작업 과정을 보여주며, 당신의 돈을 쓰기 전에 묻고, 작업이 끝나면 당신의 소유가 되는 AI를 만드는 것입니다.

만약 당신이 상점을 운영하면서 고객에게 AI를 마음대로 풀어놓는 것을 망설인 적이 있다면, 저는 그 망설임이 당신이 시대에 뒤처져서 발생하는 것이라고 생각하지 않습니다. 그것은 올바른 본능이며, 단지 도구들이 아직 그 신뢰를 얻지 못했을 뿐이라고 생각합니다.

그래서 저는 저 자신에게 계속 던지는 질문을 당신에게도 던지겠습니다. AI가 감독 없이 당신의 고객과 대화하도록 허용하기 전에, AI가 무엇을 증명해야 할까요? 그 답변이 바로 실제 제품 로드맵(product roadmap)입니다.