웹사이트들이 AI 에이전트에 문을 닫고 있음

기업들이 “우리는 너희를 수집해도 되지만, 너희는 우리를 수집하면 안 된다”는 태도로 가고 있음. 소규모 사업자는 웹사이트에 엄청난 요청이 몰려도 막을 비용이 없거나 방법을 몰라 큰 피해를 봄. 결국 가장 간편한 해결책인 Cloudflare가 이득을 보게 됨.

이 문제를 고민하다 오픈소스 정신으로 sibuna를 만들었음. (https://github.com/insanai/sibuna).
Cloudflare WAF와 비슷하게 작동하는 오픈소스 소프트웨어로, 5달러짜리 VPS를 포함해 자체 인프라에서 실행 가능함. 요청을 처리하는 데 드는 노력보다 봇이나 AI 에이전트가 더 많은 일을 하게 만드는 원리임. Cloudflare 기업용 웹 애플리케이션 방화벽처럼 규칙도 적용하며, OWASP CRS와 J4A TLS를 지원함.

다른 호스팅 업체가 비슷한 도구를 제공하지 못할 이유가 있을까?

개발 지식이 어느 정도 있고 Claude/Codex를 쓰는 소규모 사업자가 Cloudflare 외에 쓸 만한 해결책은 무엇일까?

누군가 찾는 상품을 내가 팔고 있는데 에이전트가 Amazon에는 접근하지 못하고 내 작은 사이트에는 접근할 수 있다면, 오히려 좋은 일 아닐까?

예상 가능한 일임. 문을 닫는 기업 상당수는 광고와 추가 구매 유도에서 매출의 큰 부분을 얻는데, 에이전트에는 이를 무시하라고 쉽게 지시할 수 있고 사람처럼 반응하지도 않음.
더 직설적으로는, 이용자가 에이전트에 자신의 이익을 우선하라고 지시할 수 있다는 사실을 기업들이 싫어하는 것임. 아직 허점은 있지만 에이전트는 이 역할을 점점 더 잘 수행하고 있음. 광고 차단기처럼 우회법이 생길 것이고, 기업들이 에이전트에서도 기존 수익원을 유지할 방법을 찾을 때까지 경쟁 우위를 지키려는 소모전이 이어질 것으로 보임.

민원을 넣고, 정확한 법 조항을 인용하고, 절차와 권리를 파악하고, 부당한 거래를 알아채는 일도 마찬가지임. 그동안 정보나 시간이 부족해 자기 이익을 챙기지 못했던 영역임.
다만 반대 측면도 있음. 결혼식 같은 행사를 준비하는 업체가 특별 요청을 최대한 들어줬는데, 알고 보니 고객 이익만 극대화하도록 AI가 생성한 듯한 요청이 끝없이 쏟아진 경우를 봄. 예전에는 부탁을 너무 많이 하기 민망하다는 심리적 장벽이 있어, 굳이 요청했다면 정말 중요한 일이겠거니 할 수 있었음.
이제 그 전제가 무너지면 더 명시적인 규칙과 세부 요금이 생기고, 관계는 더 대립적이고 신뢰는 낮아질 것임. 결국 시스템에서 사람 사이의 호의와 여유가 사라지게 됨.

나는 상관없음. 에이전트가 열린 웹에서 찾을 수 있는 글과 상품만 읽고 구매해도 충분함.
멋진 미래를 설득하고 싶어도 글이 잠긴 사이트에 있다면 그냥 디스토피아에서 살 수밖에 없음. 획기적인 상품을 팔아도 발견하지 못하면 경쟁사의 열등한 상품을 사게 됨. 매장에 직접 와서도 제품 사양서를 볼 수 없다면, 옆 진열대에서 사양서를 공개한 경쟁사 제품을 사면 됨.

스스로 문을 닫으면 나도 외면하면 됨. 광고, 팝업, 쿠키 배너, 번거로운 로그인으로 가득한 사이트에서 직접 마우스를 움직이며 시간을 낭비할 생각은 없음. 패스키 대신 이메일 일회용 코드까지 확인하라는 것도 질색임.

기업들도 이 모순을 알면 좋겠음. Meta는 LinkedIn 다음으로 꼽을 만큼 자동화를 강하게 막는 기업임. 플랫폼이 억지로 밀어 넣는 피드 대신 관심 있는 콘텐츠만 보는 개인용 소셜 미디어 클라이언트를 만들고 있어서 더욱 와닿음.
최근에는 에이전트로 LinkedIn 이메일 알림 77개를 끄다가 차단당했음. 돌이켜보면 뻔한 결과였지만, 설정마다 별도 페이지가 있어 수많은 클릭을 직접 하고 싶지는 않았음.

에이전트 실행 환경에 설정 하나를 바꿀 때마다 무작위로 몇 시간씩 대기하라고 시키면 됨. sleep으로 기다리는 동안은 토큰이 소모되지 않고 호출할 때만 소모되므로 비용도 아주 적음. 그 간격이면 입력 캐시를 활용하지 못할 수 있지만 차단보다는 나으며, 컨텍스트 창은 작게 유지하면 됨.

기업은 모순을 느끼는 존재가 아님. 남의 데이터를 자유롭게 수집할 권리를 요구하면서 남이 자신을 수집하는 행위는 불법으로 만들라고 요구할 수 있음. 위선이라고 따져도 반박조차 돌아오지 않을 것임. 기업 행동에 위선이나 철학적 일관성을 적용하는 것 자체가 거의 범주 오류에 가까움.

에이전트와 AI 학습용 크롤러는 사실상 DDoS 봇 무리처럼 작동하고, 실행 환경에 클라이언트 측 요청 속도 제한이 구현된 것도 아님. WAF는 바로 이런 트래픽을 차단하거나 늦추도록 설계됐으니 기업들이 용도에 맞게 쓰는 건 자연스러움.

웹 검색 추가 구독을 판매하고, 그 수익을 에이전트가 이용한 사이트에 나눠주면 간단히 해결 가능함. 그러면 분위기가 하룻밤 사이 뒤집히고 에이전트 검색 최적화(ASO) 가 등장할 것임. 인터넷에 10년 넘게 절실했던 소액 결제 시스템의 한 형태가 될 수도 있음.

기업은 고객이 경쟁사와 쉽게 비교 쇼핑하기를 원하지 않음. Amazon의 전제 자체가 너무 쉽고 편해서 경쟁사를 확인할 필요조차 없게 만드는 것임. AI 에이전트가 경쟁 조건을 평등하게 만들고 고객에게 가장 좋은 거래를 찾아주니 차단하는 게 당연함.

에이전트가 Amazon을 서서히 쇠퇴시킬 수도 있음. Muse가 어떤 상품이든 팔기로 하고 공동 구매를 통해 종합 쇼핑몰로 성장할 수 있음.

현재 AI 에이전트는 가격에 지나치게 치중함. 가격도 합리적이어야 하지만, 나는 빠른 배송과 간편한 반품을 더 우선할 때가 많음.

사람에게만 열려 있고 에이전트는 들어오지 못하는 폐쇄형 생태계를 만들기는 매우 어려움. 어느 한쪽을 골라야 함.

비교 쇼핑보다는 주로 광고 때문임.

웹사이트는 일반 이용자에게도 문을 닫고 있음. GitHub가 사용하는 외부 봇 방지 서비스 DataDome이 내 IP와 아마도 확장 기능 조합을 보고 봇으로 판단해서 계정을 만들지 못함. Firefox와 Chromium 모두 마찬가지이며, 포르투갈과 스페인의 Leroy Merlin 지역 사이트, Idealista 등 여러 대형 사이트에도 접근을 막고 있음.
1년 전 DataDome에 직접 연락했을 때는 오탐 방지가 최우선이라며 한동안 필터를 수정해줬음. 그런데 며칠 전 다시 연락하니 “고객만 지원하며 이 문의는 종료하겠다”는 태도로 바뀜. 정작 고객사들은 최종 이용자가 피해를 보는 줄도 모르고, 자사 사이트에 DataDome을 쓴다는 사실을 아는 기술 지원 담당자를 찾기도 매우 어려움.
Google reCAPTCHA로 많은 이용자의 사용 경험을 망가뜨리던 초기 Cloudflare가 떠오름.

행사할 수 있는 권리이니 GDPR에 따른 데이터 요청을 해보는 건 어떨까?

편의성이라는 경쟁 장벽이 사라지면 상거래는 더 대립적으로 변할 것임. 회원 전용 가격, 이용자 감시에 기반한 가격 책정, 충성 고객 혜택, 매트리스나 Costco처럼 비교를 어렵게 만드는 상품 차별화가 늘어날 수 있음.
다행히 AI가 정말 초인적 역량을 갖춘다면, 적극적인 가격 비교와 대체 상품 탐색, 협상, 공동 구매 등을 통해 고객 편에서 이기고 가격 경쟁을 유지할 수도 있음.

더 나은 제품을 제공하는 일만 빼고 모든 수단을 동원하는 셈임.

이 사안에서 Amazon을 비판하는 쪽은 열린 가격 경쟁으로 생긴 절감분이 곧바로 소비자나 제조업체에 돌아간다고 가정하는 듯함. 하지만 내가 겪은 Uber의 택시 시장 혁신 같은 과거 기술 변화에서는 그렇지 않았음.
AI 에이전트가 생활의 필수 요소가 되고 나면, 결국 소비자와 제조업체, 노동자, 운전기사, 플랫폼 노동자 모두 불리한 처지에 놓일 것임.

Uber는 중앙집중형 플랫폼 하나가 비공개 알고리즘으로 이익을 극대화하도록 가격을 정하는 구조임. 절박해 보이는 기사에게 더 불리한 조건을 주고, 나란히 선 승객 둘에게도 다른 요금을 보여주니 진정한 경쟁과는 거리가 멂.
기사가 직접 가격을 정하고 불이익 없이 배차를 거절하며, 승객은 여러 제안을 동시에 보내 가장 좋은 조건을 고를 수 있는 개방형 네트워크라면 완전히 다를 것임. 누구나 무엇을 사고팔지 자유롭게 선택하는 경쟁 시장이 됨.
여기서 Uber는 네트워크를 검색하고 믿을 만한 기사를 선별하며 소액의 수수료로 결제를 처리하는 여러 앱 중 하나일 뿐임. 새 앱을 만들거나 전 과정을 직접 처리하는 것도 막을 수 없음. 열린 웹에서의 쇼핑이 바로 이런 구조임.

그렇게 큰 결론을 내릴 만한 데이터가 충분한지 의문임. 특히 택시가 없거나 드물던 지역에서 이용 가능성이 늘어난 효과까지 고려해야 함. 가격 투명성의 이점은 실재하지만 유일한 요인은 아님. 구매자나 판매자의 부족, 정부 정책 등도 작용함. 다른 조건이 같다면 동일한 상품을 파는 A보다 B가 저렴하다는 사실을 쉽게 확인할 수 있을수록 구매 가격은 내려가지만, 현실에서 다른 조건이 모두 같은 경우는 드묾.