모두가 Claude Tag에 열광하지만, 아무도 신뢰 계층(Trust Layer)을 구축하지 않고 있다

OpenAI의 공동 창립자이자 전 Tesla AI 디렉터인 Andrej Karpathy는 Claude Tag를 LLM UI/UX의 세 번째 주요 재설계라고 불렀습니다. 처음에는 LLM이 웹사이트였습니다. 그다음에는 다운로드하는 앱이었습니다. 이제는 조직 전체의 컨텍스트(Context)를 가진 채 여러분의 Slack 채널 안에 상주하는 지속적이고 비동기적인 팀 동료가 되었습니다. 그는 아키텍처(Architecture)에 대해서는 옳습니다. 하지만 그 공간에서 어떤 일이 벌어지는지에 대해서는 침묵하고 있습니다.

이미 ChatGPT Workspace Agents를 자신의 팀 Slack에 연결해 두었던 Simon Smith는 주변의 가시성(Ambient visibility)이 도입을 돕는다고 말했습니다. 사람들은 공유 채널에서 서로 Claude를 사용하는 것을 지켜보며 별도의 교육 프로그램 없이도 유기적으로 학습합니다. 이는 Claude를 활성화한 사람에게는 사실입니다. 하지만 투표권이 없었던 사람에게는 전혀 다른 경험입니다.

저는 발표 18시간 후에 이 글을 썼습니다. 5인 규모의 팀에 Claude를 태그(Tag)하면, 그것이 합류하는 순간 누군가가 입력하는 모든 메시지는 AI가 읽는 것이 됩니다. 당신은 도구를 사용하는 사람처럼 보이지 않게 됩니다. 대신 회의에 감시 장치를 가져온 사람처럼 보이기 시작합니다. 거기서부터 형성된 프레임은 이길 수 없는 게임입니다. 결과물이 좋으면 "생각을 외주 주고 있다"라고 읽히고, 결과물이 평범하면 "봐, 이게 우리가 걱정했던 거야"라고 읽힙니다. 회의론자들이 틀렸음을 증명할 수 있는 제3의 결과는 없습니다.

Gail Weiner는 그 스레드에 간단한 답변을 남겼습니다. 회의론자들을 대화에 참여시키라는 것입니다. 그들이 얼마나 편안함을 느끼는지 물어보세요. 작게 시작하고, 그들이 첫 번째 유스케이스(Use case)를 선택하게 하며, 그 작은 승리가 그들이 직접 손가락으로 가리키며 "이것은 가치를 더했다"라고 말할 수 있는 무언가가 되게 하세요.

이것은 외교술이 아닙니다. 날카로운 면을 가진 신뢰 메커니즘(Trust mechanism)입니다. 회의론자가 입 밖으로 "좋아, 이것은 가치를 더했어"라고 말하는 순간, 그들은 더 이상 도입을 막는 사람이 아닙니다. 그들은 그것을 승인한 사람으로 기록됩니다. Gail은 제가 한 것보다 더 나은 이름을 붙였습니다. 바로 인간 신뢰 계층(Human trust layer)입니다. Karpathy가 열광하는 모든 것은 그 계층 위에서 작동하지만, 이번 주에 Claude Tag를 출시하는 그 누구도 누가 이 계층을 구축할지에 대해서는 이야기하지 않고 있습니다.

이 출시가 있기 몇 달 전, 저는 단일 에이전트 루프 (single-agent loop)가 통제 불능 상태로 실행되는 것을 방지하기 위한 작은 Python 라이브러리인 production-safe-agent-loop를 작성했습니다. 4개의 에이전트로 구성된 LangChain 루프가 11일 동안 작동하며 47,000달러를 소모한 사례가 있었습니다. Claude Code의 재귀 (recursion)는 5시간 만에 16,000달러에서 50,000달러를 태워버렸습니다. 해결책은 더 똑똑한 에이전트가 아니었습니다. 그것은 다섯 가지 기본 요소 (primitives)였습니다: 루프가 실행되기 전 세 번의 답변을 강제하는 명세 작성기 (spec writer), 엄격한 상한선이 있는 서킷 브레이커 (circuit breaker), 추가 전용 원장 (append-only ledger), 이 두 가지를 모두 준수하는 루프, 그리고 실행이 완료되면 원래의 약속, 수락 기준 (acceptance criteria), 차이점 (diff), 증거 (evidence), 그리고 해결되지 않은 가정 (unresolved assumptions)이라는 고정된 5개 요소 프레임 (five-element frame)을 조립하는 검토 인터페이스 (review surface)였습니다.

여기서 중요한 마지막 요소는 바로 증명 (attestation)입니다. 사람이 이 프레임을 검토하며, 증명은 승인 (approval)이 아닙니다. 그것은 그들이 눈앞에 있는 내용을 정확히 검토했으며, 다음에 일어날 일에 대해 책임을 지겠다는 기록입니다. 프레임은 해시 (hash) 처리됩니다. 동일한 세션에 대해 증명하는 두 명의 검토자는 동일한 해시를 얻게 됩니다. 이것은 느낌 (vibe)이 아니라 영수증입니다.

Claude Tag에는 이 중 어느 것도 없습니다. 그것은 주변적 (ambient)이고 지속적이며, 자신이 속한 모든 채널에서 무엇이 관련이 있는지를 스스로 결정합니다. 제가 단일 에이전트 루프를 위해 구축한 5개 요소 프레임은 "Claude가 이 채널에서 무엇을 결정했는가, 그리고 사람이 실제로 그것을 승인했는가"라는 질문에 직접적으로 대응합니다. 다만 규모가 한 명의 개발자 터미널 세션이 아니라, 수십 개의 채널에 걸친 팀 규모라는 점이 다를 뿐입니다.

이것 없이 출시되는 것들

VentureBeat는 데이터 보유 (data retention)와 벤더 종속 (vendor lock-in)에 대해 묻고 있습니다. Twitter는 그것이 무엇을 할 수 있는지 묻고 있습니다. 실제로 해결되지 않은 질문은 구조적인 것입니다: 주변적 에이전트 (ambient agent)가 수십 개의 채널에서 스스로의 주도권으로 행동할 때, 누가 5개 요소 프레임을 받으며, 누가 그것을 증명해야 하고, 아무도 하지 않을 때는 어떤 일이 발생하는가 하는 점입니다.

Claude Tag가 존재하는 것은 틀린 것이 아닙니다. 그것은 쉬운 절반을 해결했습니다. 아키텍처는 작동합니다. 신뢰 계층 (Trust Layer)은 여전히 구축되지 않은 상태이며, 이는 UX (사용자 경험) 문제가 아닙니다. 이것은 이름과 형태를 가진 감사 (Audit)의 문제입니다. 그리고 누군가가 이를 진지하게 받아들였을 때 어떤 모습일지에 대한 코드를 저는 이미 작성했습니다.

에이전트 거버넌스 (Agent Governance)에 대한 더 자세한 내용은 dannwaneri.com/ai-agents에서 확인하세요.

AI가 이 글의 조사와 편집을 도왔습니다. 논거, 사례, 그리고 의견은 저의 것입니다. 그 내용 중 잘못된 부분이 있다면 그것 또한 저의 책임입니다.