봇 등록 시스템이 인터넷의 마지막 인간 공간을 구원하지는 못할 것이다

현재 기업 보안 분야에서 가장 뜨거운 약어는 KYA(Know Your Agent)입니다. 은행이 고객을 대상으로 실시하는 KYC(Know Your Customer) 검사를 모델로 한 이 방식은 AI 에이전트에게 검증된 신원, 범위가 지정된 권한(scoped permissions), 런타임 가드레일(runtime guardrails), 그리고 감사 추적(audit trails)을 부여합니다. Gartner는 2025년 5% 미만에서 올해 말까지 기업용 애플리케이션의 40%가 작업 특화형 에이전트를 탑재할 것으로 예상하며, 전체 컴플라이언스(compliance) 산업이 이 곡선을 중심으로 형성되고 있습니다.

KYA가 다루는 범위 측면에서 보면 이는 진정으로 유익합니다. 만약 AI 에이전트가 돈을 옮기거나, 급여 세부 정보를 변경하거나, 계약에 서명할 수 있다면, 반드시 자격 증명(credentialed)을 갖추고, 제약(constrained)을 받으며, 로그(logged)가 남아야 합니다. 이에 대해 진지하게 이의를 제기하는 사람은 아무도 없습니다.

하지만 업계는 KYA를 훨씬 더 큰 질문에 대한 해답으로 취급하고 있으며, 이는 그렇지 않습니다. 그 질문은 인터넷의 소셜 공간, 즉 인간들이 서로 대화하는 장소가 과연 인간적인 상태로 남아 있을 수 있느냐는 것입니다. 그리고 그 질문에 있어서, 기업의 봇 등록 시스템(bot registry)은 무용지물보다 더 나쁩니다. 그것은 일종의 안도감을 주는 담요(comfort blanket)일 뿐입니다.

범주 오류 (The category error)
KYA는 검증받기를 원하는 에이전트를 검증합니다. 기업은 에이전트를 배포하고, 등록하며, 권한 범위를 지정하고, 그 행동을 모니터링합니다. 기업에게는 그렇게 할 모든 동기가 있기 때문입니다. 해당 에이전트는 배지를 가진 알려진 직원입니다.

소셜 미디어를 공동화(hollowing out)시키고 있는 에이전트들은 배지를 신청하지 않습니다. 서브레딧(subreddit)을 뒤덮는 여론 조작(astroturf) 작업, 제품 출시를 부풀리는 참여 농장(engagement farm), 정치적 대화를 형성하는 영향력 네트워크 등 그 어느 것도 등록 시스템에 나타나지 않을 것입니다. 스패머들이 결코 남용 신고 양식을 작성하지 않았던 것과 같은 이유 때문입니다. 등록 시점의 검증은 결코 문제가 되지 않았던 참여자들만을 잡아낼 뿐입니다.

이는 신원 확인 (identity-verification) 산업이 지난 10년 동안 인간에 대해 저질러 온 것과 동일한 실수이며, 이제는 기계에 대해서도 반복되고 있습니다. 이론상으로는 문 앞에서 모든 이의 신원을 검증할 수만 있다면, 그 방은 신뢰할 수 있는 상태로 유지된다고 말합니다. 하지만 실제로는 문이 신뢰가 머무는 곳이 아닙니다.

그 사이, 방은 이미 사람들로 가득 차 있습니다. 2025 Imperva Bad Bot Report에 따르면, 자동화된 트래픽이 처음으로 인간의 활동을 추월하여 전체 웹 트래픽의 51%에 도달했으며, 악성 봇(malicious bots)만으로도 37%를 차지했습니다. 이제 기계가 다수입니다. 이것이 사람들이 농담처럼 말하는 '죽은 인터넷 (dead internet)' 이론이지만, 수치상으로는 이미 오래전에 농담이 아니게 되었습니다. 죽은 인터넷은 미래에 대한 이론이 아닙니다. 그것은 현재의 측정치입니다.

탐지는 이미 패배했다
표준적인 대응책은 탐지 (detection)입니다. 즉, 인간과 봇을 더 잘 구별해내는 것이죠. 하지만 그 군비 경쟁은 끝났으며, 탐지는 패배했습니다.
CAPTCHA가 최전선이었으나, 그 최전선은 무너졌습니다. USENIX Security에서 발표된 UC Irvine 주도의 연구는 실제 CAPTCHA 환경에서 1,400명의 사람을 자동 솔버 (automated solvers)와 비교 테스트했습니다. 그 결과 봇은 85100%의 정확도를 기록했으며 대부분 96%를 상회한 반면, 인간은 5085%에 그쳤습니다. 컴퓨터와 인간을 구분하기 위해 설계된 테스트가 이제는 오히려 인간을 걸러내고 있습니다. 행동 지문 (Behavioral fingerprinting), 타이핑 리듬 분석 (typing-cadence analysis), 기기 신호 (device signals) 등 모든 탐지 기술은 다음 세대의 회피 (evasion) 기술을 위한 학습 데이터가 됩니다. 최첨단 언어 모델 (Frontier language models)은 이제 인간의 글과 구별할 수 없는 게시물, 답글, 논쟁을 작성합니다. 왜냐하면 인간의 글과 구별할 수 없게 되는 것이 바로 그들이 최적화된 목표이기 때문입니다. 필터를 통과하는 것이 정의적 특성인 콘텐츠를 위해 필터를 구축하는 것은 불가능합니다.

따라서 우리는 봇 문제에 대해 세 가지 제안된 해결책을 가지고 있지만, 세 가지 모두 동일한 방식으로 실패합니다. 탐지(Detection)는 기계가 모방 게임(imitation game)에서 승리하기 때문에 실패합니다. 등록 시스템(Registries)은 악의적인 행위자들이 등록하지 않기 때문에 실패합니다. 그리고 감시 산업이 선호하는 해결책인 신원 확인(identity verification)은 두 가지 측면에서 실패합니다. 우선, 정부 발행 ID 뒤에서 수천 개의 기계 계정을 운영하는 인증된 인간을 막지 못하며, 둘째로 내부 고발자, 반체제 인사, 환자, 그리고 자신의 의견으로 인해 직업을 잃을 수 있는 모든 이들에게 정직한 발언을 가능하게 하는 가명성(pseudonymity)을 파괴합니다. 우리는 프라이버시를 맞바꾸면서 아무것도 얻지 못하게 될 것입니다.

두 개의 계층, 하나의 차이점
혼란의 일부는 "소셜 미디어에서의 AI"가 실제로는 두 가지 서로 다른 질문이며, 그 답이 정반대라는 점에 있습니다.

첫 번째는 콘텐츠 계층(content layer)입니다. 인간이 게시물을 작성하거나, 논거를 다듬거나, 이미지를 생성하는 것을 돕는 AI를 말합니다. 이것은 괜찮습니다. 인간이 그것을 게시하기로 선택했고, 인간이 그 뒤에 서 있기 때문입니다. 워드 프로세서가 글쓰기를 비진정하게 만들지 않았듯, 이것도 마찬가지입니다.

두 번째는 담론 계층(discourse layer)입니다. 다른 사람들이 어떻게 생각하는지를 알려주는 답글, 투표, 반응, 그리고 주고받는 대화들이 여기에 해당합니다. 이곳은 기계의 참여가 치명적인 지점입니다. 담론의 전체 가치는 그것이 인간의 판단을 집계한다는 데 있기 때문입니다. 기계의 의견은 단순히 저품질의 의견이 아닙니다. 그것은 위조가 작동하는 정확한 의미에서의 위조품(counterfeit)입니다. 즉, 유통되는 모든 진정한 단위의 가치를 떨어뜨립니다. 당신의 아이디어에 대한 반박이 사람으로부터 온 것인지 아니면 스크립트(script)로부터 온 것인지 구분할 수 없게 될 때, 합리적인 선택은 듣기를 중단하는 것이며, 아무도 듣지 않는 사회적 공간은 트래픽이 얼마나 많이 발생하든 상관없이 죽은 공간입니다.

KYA는 담론 계층에 대해 할 말이 없습니다. 애초에 그렇게 설계되지 않았습니다.

책임(Accountability)은 체크포인트가 아니라 체인입니다
입구에서의 확인이 작동하지 않는다면, 무엇이 작동할까요? 인류가 가진 가장 오래된 신뢰 기술인 레퍼런스(references, 평판/추천)입니다.

데이터베이스가 등장하기 전, 공동체는 사회적 혈통(social lineage)을 통해 정확히 이 문제를 해결했습니다. 누군가가 당신의 이름 뒤에 자신의 이름을 걸었기 때문에 당신은 직업을 얻고, 아파트를 구하고, 대출을 받고, 멤버십을 얻을 수 있었습니다. 그리고 그 사람의 위상은 당신이 이후에 어떻게 행동하느냐에 따라 함께 오르거나 내렸습니다. 책임(Accountability)은 한 번 통과하면 끝나는 체크포인트가 아니었습니다. 그것은 당신이 참여하는 동안 지속되는 인간 관계의 사슬이었으며, 사슬의 모든 고리는 이해관계(skin in the game)를 공유하고 있었습니다.

그러한 구조는 그 어떤 등록 시스템(registry)도 복제할 수 없는 속성을 가지고 있습니다. 그것은 오직 인간의 속도로만 확장됩니다. 왜냐하면 새로운 구성원이 추가될 때마다 기존 구성원이 실질적인 이해관계를 지불해야 하기 때문이며, 이것이 바로 봇 군단(bot armies)을 비경제적으로 만드는 바로 그 속성입니다. 이 구조는 집행의 권한을 가장 많은 맥락(context)을 가진 사람들, 즉 추천(reference)을 해준 사람들에게 넘깁니다. 그리고 결정적으로, 책임(accountability)을 신원(identity)으로부터 분리합니다. 사슬은 특정 인간이 자신의 평판을 걸고 당신의 뒤에 서 있다는 것을 알기 위해 당신의 법적 이름을 알 필요가 없습니다. 책임과 익명성은 반대 개념이 아닙니다. 신뢰가 관계에 의해 전달되는 것이 아니라 기관에 의해 발행되어야 한다고 가정할 때만 반대처럼 보일 뿐입니다.

이것은 향수(nostalgia)가 아닙니다. 이것은 하나의 아키텍처(architecture)이며, 구축 가능합니다. 즉, 모든 계정이 끊어지지 않은 인간 추천의 사슬을 통해 추적되고, 평판에 따른 결과가 알고리즘에 의해 사슬을 타고 위로 흐르며, 담론 계층(discourse layer)이 인간이 자신의 이름을 걸고 보증한 참여자들을 위해 예약된 네트워크입니다. 이 구조에는 이름이 필요합니다. 저는 이것을 트러스트체인(TrustChain)이라 부릅니다.

KYA는 그것이 구축된 목적을 달성할 것이며, 기업들은 이를 채택해야 합니다. 하지만 우리는 기업용 에이전트를 위한 컴플라이언스 체크리스트(compliance checklist)가 온라인상에서 인간의 대화가 공동화(hollowing-out)되는 문제를 해결할 수 있는 것처럼 가장하는 것을 멈춰야 합니다. 등록 단계에서 악성 에이전트(rogue agents)를 막을 수는 없습니다. 대화의 밑바닥에 토대를 구축해야 하며, 그 토대가 바로 서로를 위해 책임지는 인간들로 이루어진 트러스트체인(TrustChain)입니다.