Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
Cloudflare가 웹사이트 소유자가 AI 봇의 동작을 세분화하여 관리할 수 있는 새로운 트래픽 옵션을 출시했습니다. 단순 차단을 넘어 검색 인덱싱 등 AI 사용 사례별로 콘텐츠 통제권을 강화하는 데 중점을 둡니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 HN AI Posts의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기1년 전, 우리는 첫 번째 __콘텐츠 독립 기념일 (Content Independence Day)__을 선포했으며, 웹사이트 소유자들이 자신의 콘텐츠에 대한 통제권을 되찾을 수 있는 수단을 제공했습니다. 크롤러(crawlers)와 웹사이트 소유자 사이에서 30년 동안 유지되어 온 거래 방식 — 즉, 우리가 당신을 크롤링하면 당신은 추천(referrals)을 받는다는 방식 — 은 더 이상 유효하지 않았습니다. AI는 모든 것을 가져가면서 아무것도 돌려주지 않았고, 이는 웹사이트 소유자들에게 실존적인 위협이 되었습니다. 그래서 우리는 클릭 한 번으로 작동하는 "AI 봇 차단 (Block AI Bots)" 옵션과 함께, __크롤링당 건별 결제 (Pay-Per-Crawl) 마켓플레이스__를 출시했습니다.
1년 사이에 많은 것이 변했습니다. 지난 7월, "AI 봇"에 관한 논의는 보상 없이 AI 학습을 차단하는 것에 집중되었으며, 이는 콘텐츠가 모델 학습에 사용되지만 웹사이트 소유자에게는 아무런 가치도 돌아오지 않는 승자 독식(win–lose) 거래를 지적했습니다. 하지만 더 미묘한 차이를 원하는 요구가 나타났습니다. 콘텐츠 소유자들은 여전히 자신의 콘텐츠를 보호하기를 원하며, 자신들이 열심히 만들고, 큐레이션하고, 공유한 원본 콘텐츠에 대해 보상을 받아야 합니다. 또한 우리는 콘텐츠를 완전히 잠가버리는 것이 만능 해결책은 아니라는 점도 알고 있습니다. 웹사이트 소유자들은 "매번 모든 자동화를 차단"하는 방식 외에 더 많은 옵션을 원합니다.
만약 당신이 작은 사이트를 운영한다면, 문제는 단순히 누군가가 당신의 콘텐츠로 모델을 학습시킬 수 있다는 것만이 아닙니다. 문제는 애초에 아무도 당신을 찾을 수 없게 된다는 것입니다. 그래서 당신은 파우스트적 거래 (Faustian bargain)를 해야 합니다. 검색 결과에 나타나 AI가 당신을 학습하게 두거나, 아니면 발견 가능성 (discoverability)을 잃을 위험을 감수하거나 둘 중 하나를 선택해야 합니다. 만약 기존 검색 제공업체들이 검색과 학습 모두에 동일한 봇을 사용한다면, 이는 기존 업체들에게 불공정하게 유리하게 작용합니다. 그리고 이러한 불공정한 우위는 새로운 플레이어들이 경쟁 격차를 좁히기 위해 회피적인 태도를 취하도록 유도합니다.
오늘날 AI는 무엇에나 존재할 수 있습니다. Google 검색은 AI에 의해 정렬되는 방식에서, 결과 페이지에서 질문에 직접 답을 제공하는 __완전한 답변 엔진 (full answer engine)__으로 변화했습니다. 그리고 Google만이 이러한 위치에 있는 것은 아닙니다. 이것이 바로 "검색"이 나아가고 있는 방향입니다.
오늘날 무엇을 "AI"로 정의할 것인가에 대한 기준을 두고 논쟁을 벌일 수도 있겠지만, 그 기준은 내일이면 또 바뀔 것입니다. 따라서 봇을 단순히 "AI"인지 아닌지로 정의하는 대신, 우리의 업데이트된 분류 방식은 봇 또는 에이전트 (Agent)의 동작에 대해 더 깊은 질문을 던질 것입니다. 즉, 이들이 내 사이트에서 무엇을 하고 있는가? 무엇을 저장하고 있는가? 그리고 내 콘텐츠를 어떻게 재공유할 것인가? 하는 점입니다.
이러한 질문에 답하기 위해서는 더 미묘한 관점, 즉 고객들이 중요하게 생각하는 AI 사용 사례 (Use cases)와 일치하는 실용적인 분류 체계 (Pragmatic taxonomy)가 필요합니다. 이에 따라 우리는 논의의 범위를 단순한 AI 학습 (AI training)을 넘어 확장하여, 모든 고객이 관리할 수 있기를 바라는 세 가지 AI 사용 사례에 집중하고자 합니다.
검색 (Search): 귀하의 콘텐츠를 수집하거나 인덱싱 (Indexing)하여 나중에 그에 관한 질문에 답할 수 있도록 하는 모든 동작을 의미합니다. 핵심은 검색이 나중에 쿼리 (Query)에 응답하기 위해 귀하의 사이트에 대한 데이터베이스를 선제적으로 구축한다는 점입니다. 사이트 소유자는 그 결과로 리퍼럴 트래픽 (Referral traffic)이나 기타 공정한 보상을 받을 것을 기대해야 합니다.
에이전트 (Agent): 무언가를 즉시 수행하기 위해 보통 실시간으로 사람을 대신하여 행동하는 자동화된 동작을 의미합니다. 여기에는 채팅 페치 봇 (Chat fetch bots, 예: ChatGPT-User)과 브라우저 사용 에이전트 (Browser-use agents, 예: Chrome을 구동하는 Gemini 또는 Claude)가 포함됩니다. 핵심은 이들이 작업을 완료하기 위해 귀하의 웹 애플리케이션 (Web application)을 방문하며, 종종 그 반대편에는 사람이 기다리고 있다는 점입니다.
학습 (Training): 모델을 학습 (Train)시키거나 미세 조정 (Fine-tune)하기 위해 귀하의 콘텐츠를 가져가는 크롤러 (Crawler)를 의미합니다. 핵심은 귀하의 데이터가 AI의 역량을 향상시키기 위해 해당 AI의 기본 아키텍처 (Architecture)로 영구적으로 흡수된다는 점입니다.
웹상의 많은 인기 있는 크롤러(Crawlers)는 위 분류 중 하나에 해당하며, 일부는 여러 분류에 중복으로 해당하기도 합니다. 우리는 광고 검증(Ads verification), 피드 가져오기(Feed fetching), 에이전트 기반 트랜잭션(Agentic transactions, 아래에서 자세히 설명)을 포함하여 위 세 가지 외에도 수많은 다른 동작들을 분류합니다. 하지만 우리는 모든 웹사이트 소유자가 이 세 가지 AI 중심 사용 사례에 대한 액세스(Access)를 관리하는 것이 단순해야 한다고 믿습니다. 우리는 봇 운영자가 크롤러를 분리해야 한다고 믿는데, 이는 웹사이트 소유자에게 더 높은 투명성을 제공하기 때문입니다. 즉, 특정 크롤러가 왜 방문하는지 더 잘 이해할 수 있게 하고, 해당 크롤러에 허용하는 액세스를 더 잘 관리할 수 있게 해줍니다. 만약 어떤 기업이 검색(Search) 인덱스를 구축하고, 에이전트(Agent) 역할을 수행하며, 모델 **학습(Train)**을 위한 데이터를 수집하는 자동화 프로세스를 운영한다면, 우리는 해당 기업이 이 자동화 작업을 세 개의 별도 크롤러로 분리할 것을 강력히 권장합니다.
우리는 확장 가능하며 진화하는 자동화 트래픽의 세계를 대변할 수 있는 분류 체계를 원합니다. 봇의 목적을 추적하는 것은 새로운 일이 아니지만, 우리의 새로운 분류 체계(Taxonomy)는 오늘날의 봇 트래픽 상태를 더 잘 나타내는 몇 가지 업데이트를 포함하고 있습니다. 가장 주목할 점은, 여러 목적을 가진 봇은 단 하나의 목적이 아니라 모든 목적을 가지고 추적되어야 한다는 점을 인식하고자 한다는 것입니다.
우리는 Cloudflare 네트워크의 모든 웹사이트 소유자에게 다양한 종류의 AI 트래픽을 관리할 수 있는 더 많은 옵션을 제공하고자 합니다.
우리가 이전에 발표했던 "AI 봇 차단(Block AI bots)" 관리 프리셋(Preset)에는 아래와 같이 모델 학습을 위해 데이터를 크롤링하는 단일 목적의 봇이 포함되어 있었습니다:
BLOG-3337 2
2025년 7월 1일 기준, AI 봇 트래픽을 관리하는 기존 설정의 스크린샷.
하지만 모든 AI 사용 방식이 동일하지는 않으며, 저희는 고객들이 필요로 하는 제어 권한을 갖기를 원합니다. 따라서 저희는 검색 (Search), 에이전트 (Agent), 그리고 학습 (Training) 크롤러라는 세 가지 주요 사용 사례를 기반으로 AI 트래픽을 관리할 수 있는 기능을 출시합니다. 이러한 새로운 옵션을 통해, 저희의 Free 티어 고객을 포함한 모든 고객은 AI 봇 트래픽을 관리하는 방식을 더욱 세밀하게 조정할 수 있습니다.
BLOG-3337 3
2026년 7월 1일 기준, AI 봇 트래픽을 관리하는 새로운 옵션의 스크린샷.
2026년 9월 15일에 저희는 이 세 가지 분류 각각에 대해 새로운 기본값(defaults)을 설정할 예정입니다. Cloudflare에 새로 온보딩하는 모든 도메인의 경우, 광고가 표시되는 페이지에서 학습 (Training) 및 에이전트 (Agent) 카테고리는 기본적으로 차단되지만, **검색 (Search)**은 기본적으로 허용된 상태로 유지됩니다.
광고는 웹사이트 소유자가 사람이 그곳에 방문하여 광고를 보기를 의도했다는 신호이며, 비즈니스를 뒷받침하는 수익화 가능한 요소입니다. 따라서 해당 페이지에서 저희는 인간의 주의(attention)를 최종 목표로 간주하며, 이러한 주의를 방해할 수 있는 봇(즉, 학습 및 에이전트 봇)을 멀리합니다. 반면, 검색은 방문자를 가장 자연스럽게 다시 유입시키는 동작이며, 대부분의 사이트 소유자에게 이를 허용하는 것이 이익이 될 것이라고 믿습니다.
9월 15일에 적용될 또 다른 변경 사항은 다목적 크롤러(특히 검색과 학습을 결합한 크롤러)가 웹사이트 소유자를 위한 투명성 요구에 따라 모든 동작 방식에 맞춰 허용 또는 차단된다는 점입니다. 기본값은 적용 가능한 가장 엄격한 규칙에 의해 강제되므로, Googlebot, Applebot, BingBot과 같은 다목적 크롤러는 __AI 트래픽 관리__를 위한 새로운 옵션이나 기존의 AI 봇 차단(Block AI bots) 서비스를 통해 학습(Training) 차단을 선택한 고객에 의해 차단될 것입니다.
물론, 고객의 선택이 가장 중요합니다. 웹사이트 소유자가 이러한 새로운 기본 설정(default configurations)에서 제외되기를 원한다면, 9월 15일 전까지 언제든지 __보안 설정(Security settings)에서 이를 쉽게 표시__할 수 있으며, 이를 통해 검색(Search) 목적으로도 크롤링하는 학습(Training) 크롤러에 대해 변경 사항을 원하지 않음을 확정할 수 있습니다. 또한, 기본값과 다른 설정을 선택하고자 하는 고객들이 기회를 가질 수 있도록, 9월 15일이 다가옴에 따라 예정된 기본값 변경 사항을 고객들에게 계속해서 안내할 것입니다.
저희는 Enterprise 봇 관리(Bot Management)의 새로운 기능으로서 주요 가시성 업데이트를 출시하게 되어 매우 기쁩니다. Cloudflare가 추적하는 봇 디렉토리가 성장함에 따라, 이러한 봇들을 합리적인 그룹으로 관리하고 특정 봇에 대한 더 자세한 세부 정보를 이해하고자 하는 요구도 함께 증가했습니다.
BotBase를 소개합니다. BotBase는 인증된 봇(Verified bots) 및 에이전트(agents)를 포함하여 알려진 모든 봇을 추적하는 새로운 데이터베이스입니다. 이 데이터베이스는 Cloudflare 대시보드에서 직접 전체 봇 디렉토리에 대한 포괄적이고 검색 가능한 뷰를 제공합니다. 저희는 우선적으로 *가시성(visibility)*을 해결하고자 하며, 올해 말에는 BotBase를 확장하여 웹사이트의 알려진 자동화된 콘텐츠에 대한 직접적인 제어 센터를 제공할 예정입니다.
이 새로운 뷰를 통해 Enterprise 봇 관리 고객은 모든 인증된 봇/에이전트의 전체 카탈로그와 이 업데이트된 분류 체계(taxonomy)에서 이들이 어디에 분류되어 있는지 확인할 수 있습니다. 이는 이전에 Cloudflare 대시보드에서 동적으로 보여준 적이 없는 뷰입니다. 특정 봇을 정밀하게 타겟팅하려는 고객은 해당 봇의 모든 트래픽을 쉽게 필터링할 수 있으며, 보안 규칙(Security rules)에서 사용할 수 있도록 탐지 ID(detection ID)를 복사할 수도 있습니다. 이 모든 기능은 현재 전용 페이지 내에서 라이브 상태이며, __봇 관리 구성 카드(Bot Management configuration card)__를 통해 접속할 수 있습니다.
BotBase를 구축하면서, 우리는 봇에서 봇으로 확장 가능하고 강력한 통찰력(insights)을 구축할 수 있게 해주는 모든 정보 요소를 고려하고자 했습니다. 이 요소 중 하나는 우리의 업데이트된 분류 체계(taxonomy)의 초석이며, 이는 **봇이 귀하의 사이트에서 무엇을 할 수 있는지, 즉 그 행동(behavior)**에 기반합니다. 우리는 아래에 공유된 것처럼 이러한 분류를 구분하며, 각 봇은 하나 이상의 이러한 행동으로 분류됩니다.
| 봇 분류 | 행동 및 용도 |
|---|---|
| Search (검색) | 검색 엔진 결과에 나타날 수 있도록 사이트를 스캔하는 크롤링 (Crawling) |
| Agent (에이전트) | 인간을 대신하여 페이지를 방문하는 사용자 지시형 에이전트 |
| Training (학습) | 모델을 학습시키거나 미세 조정(fine-tune)하기 위한 크롤링 |
| Transact (거래) | 사용자를 대신하여 수행하는 결제(Checkout) 작업 |
| Data Collection (데이터 수집) | 가격 스크래핑(scraping), 경쟁 정보 수집, 제3자 분석 포함 |
| Security Testing (보안 테스트) | 취약점 스캔 및 침투 테스트(penetration testing) 포함 |
| SEO (검색 엔진 최적화) | SEO 크롤링, 사이트 감사, 접근성 점검 |
| Ads Verification (광고 검증) | 광고 배치 검증, 광고 사기(ad fraud) 탐지 |
| Social / Link Preview (소셜 / 링크 미리보기) | 소셜 플랫폼 및 메시징 앱을 위한 링크 미리보기 |
| Feed Fetching (피드 가져오기) | RSS 리더, 팟캐스트 애그리게이터(aggregator), 뉴스 피드 봇 포함 |
| Monitoring & Operations (모니터링 및 운영) | 업타임(uptime) 모니터링, 웹훅(webhooks), 상태 점검(health checks) 포함 |
굵은 이탤릭체 행은 모든 고객이 사용할 수 있는 새로운 구성 가능 옵션을 나타냅니다.
우리가 고객들에게 중요하다고 들은 또 다른 정보는 봇의 콘텐츠 사용(content use) — 즉, 봇이 귀하의 콘텐츠를 크롤링한 후 무엇을 보관하고 재공유할 수 있는지입니다. 이를 해결하기 위해, 우리는 Bot Management 고객이 "콘텐츠 사용"을 기반으로 선택하고 차단할 수 있는 기능을 구축하고 있습니다. 이 설정은 허용 수준이 낮은 것부터 높은 것까지 다음 세 가지 단계 중 하나로 설정할 수 있습니다:
immediate (즉시)
— 상호작용은 하지만, 아무것도 저장하거나 재사용하지 않음
reference (참조)
(기본값) — 인덱싱(index), 발췌(excerpt) 및 링크 연결
full (전체)
— 요약 및 복제
이러한 값들은 봇 분류 (bot classifications)와 결합하여, “검색 (Search), SEO, **광고 검증 (Ads Verification)**에 사용되는 모든 봇을 허용하되, reference 사용 수준까지만 허용한다”와 같이 미세하게 조정된 규칙을 표현할 수 있습니다. 이를 통해 웹사이트 소유자는 개별 봇마다 규칙을 관리하는 대신, 합리적인 그룹 단위로 의사 결정을 내릴 수 있습니다.
이를 더욱 지원하기 위해, 오늘부터 우리는 __콘텐츠 신호 (Content Signals)__를 확장하고 robots.txt에 포함되는 새로운 신호인 use를 테스트하고 있습니다. 이는 첫 번째 버전의 콘텐츠 신호(Content Signals)의 세 가지 필드에, 위와 동일한 선호도를 표현하는 네 번째 선택적 필드를 추가하여 확장합니다:
use=immediate
use=reference
use=full
robots.txt 파일에 나열된 다른 모든 항목과 마찬가지로, 콘텐츠 사용 (content use) 신호의 값은 직접적인 차단을 명령하기보다는 웹사이트 소유자의 *선호도 (preference)*를 나타냅니다. 이제 우리는 이 확장 기능에 대한 지원을 추가합니다. 이미 관리형 robots.txt (managed robots.txt)를 활성화한 모든 고객 — 즉, 검색을 위한 크롤링(crawling)은 허용하지만 학습을 위한 크롤링은 허용하지 않는다는 선호도를 robots.txt 앞에 추가해 둔 고객 — 은 이제 use=reference라는 추가적인 선호도가 자신들의 robots.txt에 더해지게 됩니다.
# 기존 Content Signals가 포함된 Cloudflare 관리형 콘텐츠
User-agent: *
Content-Signal: search=yes,ai-train=no
...
기존 Content Signals 값이 포함된 Cloudflare 관리형 robots.txt의 내용.
# 새로운 content-use 신호가 추가된 Cloudflare 관리형 콘텐츠
User-agent: *
Content-Signal: search=yes,ai-train=no,use=reference
...
매개변수가 추가된 Cloudflare 관리형 robots.txt의 내용.