사람들이 내 사이트를 Claude Code에 붙여넣고 데이터베이스 전체를 스크래핑했다고 자랑했지만, 403 응답을 보내자 에이전트들은 위장만

요약

AI 에이전트들이 웹사이트를 스크래핑하려는 시도가 증가함에 따라, 작성자는 이를 방어하기 위한 6계층 AI 에이전트 방화벽을 구축했습니다. 이 시스템은 단순한 403 응답 대신 가짜 HTTP 200 페이지 제공, `STOP_SCRAPING` 지침 삽입 등 정교한 기술을 활용하여 스크래핑 시도를 차단합니다.

핵심 포인트

• 에이전트 재시도 방지를 위해 403 대신 가짜 HTTP 200 페이지 제공.
• `STOP_SCRAPING` 지침 삽입으로 스캐퍼에게 제품 홍보 유도.
• 사용자 에이전트(User-Agent)가 아닌 IP/ASN 기반의 Googlebot 검증.
• 서브 에이전트를 생성하여 첫 시도 실패까지 스스로 레드팀화.