주요 출판사들이 자신들의 저널리즘에 대한 AI 웹 크롤러 (web crawlers)의 접근을 점점 더 제한하고 있으며, 이는 AI 기업들이 모델 학습 및 관련 애플리케이션을 위해 고품질 뉴스 콘텐츠를 확보하는 방식을 변화시키고 있습니다. 이러한 변화는 단일한 조정된 정책이 아니라, 기존 매체 전반에 걸쳐 나타나는 지속적인 패턴으로, 출판사들이 자신들의 작업물이 AI 시스템에 의해 사용될지 여부와 어떤 조건으로 사용될지에 대해 더 많은 통제권을 갖게 합니다.

the Guardian의 크롤러 제한에 관한 보도에 따르면, 2023년에 New York Times, CNN, ABC 등이 OpenAI의 GPTBot을 차단한 매체들에 포함되었습니다. The Guardian 또한 이후 자체적으로 GPTBot 차단을 채택했습니다. 보도 내용과 robots.txt 지표는 또한 BBC 및 기타 전통적인 출판사들의 제한 가능성을 시사합니다. 공통적인 문제는 머신러닝 (machine-learning) 용도로 콘텐츠에 접근하는 것이며, 이는 검색 엔진이 페이지를 인덱싱 (index)할 수 있는지에 대한 오래된 질문과는 별개의 문제입니다.

이러한 추세의 규모는 중요합니다. Reuters Institute의 조사에 따르면 2023년 말까지 **10개국 주요 뉴스 사이트의 약 48%**가 OpenAI의 크롤러를 차단했습니다. 또한 해당 분석은 기존 매체(legacy publishers)가 신생 매체보다 차단할 가능성이 더 높다는 것을 발견했습니다. 이것이 모든 출판사가 동일한 규칙을 채택했다거나 모든 봇 (bot)이 동일하게 취급된다는 의미는 아닙니다. 다만, 제한 없는 웹 크롤링 (web crawling)이 프리미엄 뉴스 데이터에 도달하는 덜 신뢰할 수 있는 경로가 되고 있음을 보여줍니다.

개방형 크롤링에서 통제된 접근으로

Robots.txt 제어는 사이트 운영자가 어떤 자동화된 크롤러가 자신의 페이지에 접근해서는 안 되는지를 명시하는 실질적인 방법입니다. 이 경우, 출판사들은 이를 사용하여 GPTBot과 같은 AI 학습용 봇을 제한해 왔으며, 일부는 AI 크롤러 트래픽에 대해 더 광범위한 제한을 적용하기도 했습니다. 그 효과는 정책에 따라 다릅니다. 특정 이름이 지정된 크롤러를 허용하지 않을 수도 있고, 더 넓은 범주의 봇을 차단할 수도 있으며, 다른 곳에서 상업적 통제를 추진하면서 크롤링 접근은 열어둘 수도 있습니다.

출판사들에게 이러한 변화는 저널리즘을 단순히 검색 엔진에 의해 인덱싱되고 참조되는 자료가 아니라, AI 제품의 입력값(input)으로 보는 더욱 명시적인 관점을 반영합니다. 고품질 보도는 편집적, 상업적, 법적 가치를 지닙니다. 차단은 출판사들이 AI 학습 접근을 완전히 거부할지, 보상을 받는 접근을 허용할지, 혹은 특정 용도를 위한 더 좁은 범위의 협약을 맺을지 결정하는 동안 협상력을 제공합니다.

이러한 구분은 중요한데, 왜냐하면 robots.txt는 접근 정책 메커니즘일 뿐, 이미 획득한 콘텐츠, 다운스트림 사용(downstream use), 또는 향후 파트너십의 조건에 관한 모든 질문에 대한 완전한 해답은 아니기 때문입니다. 그럼에도 불구하고, 광범위한 차단은 AI 개발자가 사용할 수 있는, 새로 크롤링 가능한 출판사 콘텐츠 풀을 실질적으로 감소시킬 수 있습니다.

데이터 공급이 변화하는 이유

대규모 뉴스 조직은 시의적절한 보도, 전문적인 취재, 그리고 전문적으로 편집된 아카이브를 제공합니다. 이러한 소스에 대한 크롤러의 접근이 어려워지면, 모델 제작자들은 데이터 출처(data provenance)와 제품 설계 모두에 대해 선택을 내려야 합니다. Reuters Institute의 연구 결과는 이러한 현상이 기존 레거시 미디어(legacy media)에 특히 중대한 영향을 미친다는 점을 시사하며, 이들의 차단 확률은 신생 매체보다 높았습니다.

연구에서 확인된 실질적인 적응 방식은 다음과 같습니다:

• 협상된 조건에 따라 콘텐츠를 제공하기로 선택한 출판사들과의 데이터 라이선스 계약 (Data licensing arrangements).
• 의도된 용도에 적합한 경우, 통제된 접근 권한을 가진 공공 아카이브를 포함한 대체 소스 (Alternative sources).
• 쿼리 시점에 승인된 소스에서 정보를 검색함으로써 광범위한 로우 크롤링(raw crawling)에 대한 의존도를 줄일 수 있는 검색 증강 접근 방식 (Retrieval-augmented approaches).

이러한 경로들은 서로 대체 가능한 것이 아닙니다. 라이선싱 (Licensing)은 직접적인 상업적 관계를 형성할 수 있지만, 접근 및 사용에 대한 합의가 필요합니다. 통제된 아카이브 (Controlled archives)는 실시간 출판물과 비교했을 때 범위나 최신성 측면에서 다를 수 있습니다. 검색 기반 시스템 (Retrieval-based systems)은 더 표적화된 접근을 지원할 수 있지만, 이는 검색 계층 (retrieval layer)의 권한, 소스 커버리지 및 기술적 설계에 따라 달라집니다.

라이선싱이 더 중요한 전략적 옵션이 되다

새롭게 나타나는 지형은 보편적인 차단이라기보다는 하이브리드 모델 (hybrid model)로 이해하는 것이 가장 적절합니다. 일부 출판사들은 특정 봇 (bots)을 차단하고 있습니다. 다른 출판사들은 규제된 접근을 선호한다는 신호를 보내고 있습니다. AI 라이선싱에 관한 업계 논의에서 Axel Springer의 행보는 후자의 방향을 잘 보여줍니다. 즉, 접근 권한을 단순히 거부하는 대신 상업화할 수 있다는 것입니다.

AI 플랫폼의 경우, 이는 명확한 크롤러 (crawler) 식별성을 유지하고, 출판사의 통제권을 존중하며, 가치 있는 콘텐츠에 대한 지속적인 접근을 제공할 수 있는 관계를 구축하는 것의 중요성을 높입니다. 또한 데이터 소싱 (data sourcing)을 더욱 가시적인 운영 및 전략적 관심사로 만듭니다. AI 플랫폼을 기반으로 구축하는 개발자들은 플랫폼 제공업체가 시스템 이면의 소스, 최신성 또는 권한을 변경할 경우 간접적인 영향을 받을 수 있습니다.

출판사들에게 있어 이러한 기회는 아직 해결되지 않은 정책적 선택들로 인해 완화되기도 합니다. 차단은 전통적인 매체들 사이에서 광범위하게 일어나고 있지만 보편적인 것은 아니며, 연구 결과는 라이선싱 조건이나 허용된 사용에 대한 단일한 업계 표준을 확립하지 못했습니다. AI 제공업체들이 접근 제약에 적응하고, 출판사들이 배제, 파트너십 또는 이 둘의 조합 중 무엇을 우선시할지 결정함에 따라 정책 환경은 계속 변화하고 있습니다.

외부 지식 소스에 의존하는 AI 워크플로우 (AI workflows)를 평가하는 조직은 데이터 접근 제어 및 라이선싱 요구 사항을 고려한 AI 아키텍처 (AI architecture), 검색 설계 (retrieval design) 및 통합에 대해 Scalevise와 협력할 수 있습니다.

자주 묻는 질문 (Frequently Asked Questions)

어떤 출판사들이 OpenAI의 GPTBot을 차단했나요?

The Guardian는 2023년에 New York Times, CNN, ABC가 GPTBot을 차단했다고 보도했으며, Guardian 또한 이후 자체적인 차단 조치를 채택했습니다. 연구에 따르면 BBC 및 기타 출판사에서도 더 광범위한 AI 크롤러 제한 조치가 확인되었습니다.

주요 뉴스 사이트들 사이에서 AI 크롤러 차단은 얼마나 흔했나요?

Reuters Institute의 조사에 따르면, 2023년 말 기준으로 10개국 주요 뉴스 사이트의 약 48%가 OpenAI의 크롤러를 차단했습니다. 기존 레거시(Legacy) 출판사들이 신생 매체들보다 차단할 가능성이 더 높았습니다.

AI 크롤러를 차단하는 것이 출판사가 모든 AI 파트너십을 거부한다는 의미인가요?

아니요. 크롤러를 차단하는 것은 라이선스 중심의 접근 방식과 공존할 수 있습니다. 업계 논의에서는 Axel Springer를 AI 제공업체와 라이선스 계약을 추진하는 출판사의 사례로 언급했습니다.

출판사 콘텐츠가 차단될 경우 AI 개발자들은 어떻게 대응할 수 있나요?

연구에 따르면 라이선스 계약, 통제된 공공 아카이브와 같은 대안적 소스, 그리고 광범위한 로우 웹 크롤링 (raw web crawling)에 대한 의존도를 낮춘 검색 증강 (Retrieval-Augmented) 방식 등이 제시되고 있습니다.

결론

AI 크롤러에 대한 출판사들의 제한 조치는 학습 데이터 생태계의 의미 있는 변화를 나타냅니다. 주요 매체들이 자동화된 접근을 제한함에 따라, AI 개발자들은 라이선스가 부여되었거나 통제된 소스, 또는 검색 기반 소스를 사용해야 하는 더 강력한 유인에 직면하게 되었습니다. 그 결과, 프리미엄 저널리즘에 대한 접근 방식은 더욱 협상 중심적인 모델로 변모하고 있으며, 차단과 파트너십 사이의 균형은 여전히 진화하는 과정에 있습니다.