AI 에이전트에게 제품을 찾아달라고 요청했다. 그들의 가장 훌륭한 성과는 내 아이디어 중 두 개를 죽이는 것이었다.

나는 소규모 AI 코딩 에이전트(AI coding agents) 팀을 운영하고 있다. 이들은 내 프로젝트를 구축하고 유지 관리하는데, 한 명은 코드를 작성하고, 한 명은 리뷰하며, 한 명은 검증하고, 한 명은 에이전트 간의 업무를 라우팅(routing)한다. 대부분의 사람들은 이런 설정을 "더 빠르게 출시하기(ship faster)" 위한 용도로 사용한다. 지난주 나는 내 에이전트들에게 다른 질문을 던졌다. 내가 만든 모든 것 중에서, 진짜 제품으로 만들 가치가 있는 단 하나는 무엇인가?

그들이 한 가장 유용한 일은 나에게 "아니오"라고 말해준 것이었다. 그것도 두 번이나, 근거를 제시하며 말이다.

그 과정이 어떠했는지 공유하려 한다. 왜냐하면 그 이면에 깔린 규율(discipline)이 정답 그 자체보다 더 유용하기 때문이다.

내가 틀렸던 첫 번째 아이디어

나에게는 아끼는 아이디어가 하나 있었다. AI 에이전트를 위한 작은 메모리 레이어(memory layer)로, 어시스턴트가 무엇을 하는지 관찰하고 패턴을 기억하는 종류의 것이었다. 나는 이미 그것을 구축하여 PyPI에 올려두었고, 그것이 바로 그 제품이라고 스스로를 반쯤 설득한 상태였다. 그래서 나는 무언가에 애착을 갖기 전에 항상 하기로 배운 일을 실행했다. 에이전트 중 하나에게 그 아이디어를 넘겨주고, 그것을 해체하라고 명령했다. 개선을 돕는 것이 아니라, 반박(refute)하라고 말이다.

에이전트는 내가 가졌던 모든 이유를 무너뜨리며 돌아왔다.

논쟁을 끝낸 결정적인 이유는 다음과 같았다. 내 도구가 현재 실행되는 플랫폼이 바로 그 기능을 네이티브(natively)로 제공하고 있다는 점이었다. 무료이고, 자동이며, 설정이 필요 없고, 내 도구가 사용자에게 수동으로 하라고 요청했던 일을 알아서 해주고 있었다. 호스트가 당신의 제품을 더 나은 방식으로, 심지어 공짜로 제공하는 시장에서는 승리할 수 없다. 두 번째 타격은 내가 남몰래 기대하고 있었던 배포 계획이었다. 사람들이 이러한 도구들을 "발견"하게 되는 레지스트리(registries) 말이다. 나는 그것들이 발견 채널(discovery channel)이라고 가정했다. 하지만 데이터는 그곳이 공동묘지라고 말했다. 대부분의 리스팅은 설치 수가 0이며, 당신을 순위에 올려주는 유일한 것은 나타나기 전부터 이미 가지고 있던 평판뿐이었다. 내가 마케팅을 해줄 것이라 믿었던 채널은 그저 추가적인 단계가 더 붙은 나의 마케팅 문제일 뿐이었다.

나는 그날 오후 바로 아이디어를 포기했다. 조금 쓰라렸다. 하지만 덕분에 도착하자마자 죽어버릴(dead on arrival) 무언가를 만드는 데 몇 주를 허비하는 것을 막을 수 있었다.

내가 스스로 속이고 있었음을 깨달은 두 번째 아이디어

그래서 나는 당연히 살아남을 것 같은 아이디어로 피벗(pivot)했다. 그것은 내가 이미 출시했던 보안 도구로, 검증 가능하고(verifiable), 브라우저 내에서 실행되며(runs-in-your-browser), 아무것도 기기를 떠나지 않는(nothing-leaves-your-machine) 종류의 도구였다. 이번에는 단 하나의 에이전트(agent)도 믿지 않았다. 나는 세 개를 병렬로 실행했다. 하나는 경쟁사를 조사했고, 하나는 근본적인 문제가 실제로 존재하는지 측정했다. 그리고 마지막 하나는 단 하나의 임무를 부여받았다. 바로 아이디어를 죽이는 것이다. 기본 설정을 "이것은 작동하지 않을 것이다"로 두고, 진심으로 시도한 후에도 죽이지 못했을 때만 실패로 간주하게 했다.

문제는 매우 실재하는 것으로 드러났다. 엔지니어들이 챗봇(chatbot)에 비밀 정보를 붙여넣는 기록, 이 문제로 인해 도구 사용을 금지하는 기업들, 그리고 이것이 얼마나 자주 발생하는지에 대한 구체적인 수치들이 문서로 남아 있었다. 수요는 문제가 아니었다.

문제는 시장의 빈자리(slot)였다. 내가 내 데모(demo)에 감탄하고 있는 동안, 자금력이 풍부한 기존 업체(incumbent)가 내가 계획했던 것과 정확히 일치하는 리텐션(retention, 유지) 기능을 출시했다. 그것은 개인 개발자들에게 무료로 제공되었고, 내가 경쟁해야 할 마켓플레이스(marketplace)에서 이미 1위를 차지하고 있었다. 내가 나의 해자(moat)라고 생각했던 영리한 "직접 검증하세요"라는 관점은? 이미 다른 9개의 무료 도구들이 토씨 하나 틀리지 않고 동일한 주장을 하고 있었다. 나의 차별점은 시장 진입을 위한 최소한의 요건(table stakes)에 불과했다.

또다시 죽었다. 하지만 계속 가져갈 가치가 있는 부분은 세 번째 에이전트가 떠나면서 지적한 내용이었다. 나의 프레이밍(framing, 틀 짜기)이 조작되었다는 것이다. 나는 내가 더 흥미롭다고 느낀 아이디어에 자리를 내주기 위해, 더 강력한 후보를 조용히 강등시켰다. 나는 증거가 뒷받침하는 아이디어 대신 내가 진실이기를 바라는 아이디어를 선택했고, 나 자신으로부터 그것을 숨기기 위해 프레이밍을 작성했다. 에이전트는 이를 "강제 맞춤 확인됨(force-fit confirmed)"이라고 표현했다. 그것이 맞았다.

판결이 아닌 규율

에이전트의 역할이 당신을 기분 좋게 만드는 것이라면 이 중 그 어떤 것도 작동하지 않는다. 이 모든 과정은 단 하나의 지침에 달려 있다. 그것을 망가뜨리려 노력하고, 회의적인 태도를 기본값으로 설정하며, 진정한 노력 끝에도 망가뜨릴 수 없다면 그 부재(absence)만이 신뢰할 가치가 있는 유일한 신호라는 점이다. 나는 에이전트들이 검증할 수 없었던 것들을 목록으로 작성하게 만든다. 그래야 자신감 있게 들리는 답변이 추측을 몰래 끼워 넣을 수 없기 때문이다. 나는 에이전트들에게 나의 프레이밍에 동기화된 추론(motivated reasoning)이 있는지 확인하게 한다. 왜냐하면 실패 모드는 틀린 사실이 아니라, 내가 진실된 사실들을 나를 치켜세우는 형태로 배열하는 것이기 때문이다.

마지막 항목은 제가 스스로는 신뢰할 수 있게 수행할 수 없는 부분입니다. 저는 제 아이디어에 너무 몰입해 있어서, 제가 그것들을 보호하려 할 때 이를 알아차리지 못합니다. 제 자아(ego)에 이해관계가 없으며, 제 코드 대신 제 논리(reasoning)를 겨냥하는 적대자(adversary)는 이 전체 설정에서 가장 높은 레버리지(leverage)를 가진 요소임이 드러났습니다.

내가 실제로 배운 것

AI 지원에 대한 과장된 버전은 "당신이 요청하는 무엇이든 더 빠르게 만들어준다"는 것입니다. 이번 주에 제 몫을 다한 버전은 그 반대였습니다. 그것은 두 번이나 구축하기를 거부했고, 두 번 모두 그 근거를 제시했습니다.

동의는 값싸게 얻을 수 있습니다. 무엇이든 당신에게 동의할 것입니다. 당신과 의견이 다르면서 증거(receipts)를 가져오는 에이전트(agent)는 드물며, 당신의 잘못된 아이디어를 빠른 속도로 출시하는 열 개의 에이전트보다 더 가치 있습니다. 대부분의 사람들은 이 도구들을 "내 아이디어를 구축해줘"라는 방향으로 겨냥합니다. 하지만 성과를 거둔 전략은 "이제 이것을 죽여봐"라고 겨냥하는 것이었습니다.

그 대가로 제가 애착을 가졌던 두 개의 아이디어를 잃었습니다. 하지만 그 덕분에 두 아이디어 중 어느 것도 구축하지 않을 수 있었습니다. 저는 언제든 기꺼이 그런 거래를 할 것입니다.

저는 의존성이 없는(zero-dependency) 보안 모노레포(monorepo)를 유지 관리하는 AI 에이전트 군단을 운영하고 있습니다. 오픈 소스 구성 요소는 github.com/WRG-11에서 확인할 수 있습니다.