주요 뉴스 출판사들이 AI 웹 크롤러(web crawlers)의 사이트 접속을 점점 더 제한하면서, 저널리즘 데이터를 둘러싼 더욱 통제되고 논쟁적인 시장이 형성되고 있습니다. 이러한 변화가 출판사들이 단일한 접근 방식을 채택했음을 의미하지는 않습니다. 일부는 특정 크롤러를 차단하고 있고, 일부는 라이선싱 계약(licensing deals)을 추진하고 있으며, 다른 이들은 접근을 허용하고 있습니다. 하지만 방향은 명확합니다. 고품질 뉴스 콘텐츠에 대한 접근은 AI 개발자와 그 시스템을 사용하는 기업들에게 전략적, 법적, 상업적 문제가 되고 있습니다.

뉴스 웹사이트의 AI 크롤러 차단에 관한 Reuters Institute의 분석에 따르면, 2023년 말까지 **전 세계 상위 온라인 뉴스 사이트의 약 48%**가 OpenAI의 GPTBot을 차단했습니다. 약 24%는 Google의 AI 크롤러를 차단했습니다. 이러한 패턴은 미국에서 특히 두드러졌으며, 해당 연구에서는 주요 뉴스 사이트의 약 79%가 OpenAI의 크롤러를 차단한 것으로 나타났습니다.

이 수치들은 출판사와 AI 기업 간의 관계에서 중요한 변화를 포착하고 있습니다. 뉴스 조직들은 오랫동안 크롤링(crawling), 인덱싱(indexing) 및 추천 트래픽(referral traffic) 조건에 따라 검색 엔진에 자료를 제공해 왔습니다. 생성형 AI(Generative AI)는 다른 우려를 불러일으킵니다. 출판사들은 명확한 상업적 합의, 속성 모델(attribution model) 또는 보상적인 트래픽 흐름 없이 자신들의 보도가 학습 자료나 AI 생성 답변의 입력값으로 사용되는 것을 경계할 수 있습니다.

크롤러 차단이 웹사이트 접속 그 이상의 의미를 갖는 이유

크롤러 제한은 특정 봇이 페이지를 가져올 수 있는지 여부 이상의 영향을 미칠 수 있습니다. 이는 자신들의 저널리즘이 AI 시스템에서 어떻게 사용될지에 대한 조건을 설정하려는 출판사들의 광범위한 노력의 일부입니다. 실제 효과는 크롤러, 출판사의 정책 및 AI 기업의 사용 사례(use case)에 따라 달라집니다. 출판사는 모델 학습(model training), 검색(retrieval) 및 전통적인 검색(conventional search)을 다르게 취급할 수 있으므로, 차단이 모든 형태의 자동화된 접근에 대한 금지로 자동 해석되어서는 안 됩니다.

Reuters Institute의 데이터는 또한 출판사들에 대한 광범위한 주장이 왜 오해의 소지가 있는지를 보여줍니다. 차단 행위는 국가와 매체 유형에 따라 달랐습니다. 전통적인 인쇄 매체(Legacy print publications)는 디지털 네이티브 매체(digital-born outlets)보다 제한을 가할 가능성이 더 높았으며, 정책은 지역에 따라 상당히 다양했습니다. 가용 데이터는 2023년과 2024년 초를 다루고 있으며, 출판사들이 정책을 수정하고 새로운 계약을 협상함에 따라 백분율은 변동될 수 있습니다.

세간의 주목을 받는 출판사들의 조치는 이 문제가 단순히 기술적인 것이 아님을 강화합니다. The Guardian은 2023년 9월 OpenAI의 GPTBot을 차단했습니다. The New York Times는 2023년 12월, 자사의 저작물을 학습 데이터로 사용했다는 혐의로 OpenAI와 Microsoft를 고소했습니다. 한편, 일부 출판사들은 전면적인 제한에 대한 상업적 대안을 모색해 왔습니다. Axel Springer는 출판사 콘텐츠에 대한 AI 접근을 공식화하고 수익화하기 위한 라이선싱 계약(licensing arrangements)을 추진해 온 조직 중 하나입니다.

종합하면, 이러한 접근 방식들은 확립된 표준이라기보다는 발전 중인 시장임을 보여줍니다. 차단은 영향력을 보존하고 무단 접근을 제한할 수 있습니다. 라이선싱은 허가된 사용을 위한 경로를 만들 수 있습니다. 소송은 기존 법률이 학습 관행에 어떻게 적용되는지 테스트할 수 있습니다. 출판사는 전략이 진화함에 따라 이러한 도구 중 하나 이상을 사용할 수 있습니다.

AI 개발자들에게 광범위한 제한은 오픈 웹 (open web)에서 최신의 전문적인 저널리즘을 확보하는 것을 더 어렵게 만들 수 있습니다. 이것이 특정 모델의 학습 데이터가 어떻게 변할지를 확정 짓거나, 뉴스 콘텐츠가 AI 시스템에서 사라진다는 것을 의미하지는 않습니다. 하지만 이는 라이선스 기반 소스, 출판사 파트너십, 그리고 명확한 데이터 거버넌스 (data governance)의 중요성을 증대시킵니다. 무제한적인 크롤링 (crawling)을 더 이상 가정할 수 없게 될 때, 정보의 품질, 최신성, 그리고 출처 (provenance)는 차별화 요소가 될 수 있습니다.

기업들에게 즉각적인 교훈은 모델의 일반적인 역량과 배포된 AI 워크플로우 (workflow)를 둘러싼 데이터 권리를 구분하는 것입니다. 고객 대응형 리서치 어시스턴트, 내부 지식 시스템 또는 뉴스 모니터링 도구를 구축하는 조직은 콘텐츠의 출처가 어디인지, 어떤 권한이 적용되는지, 그리고 시스템이 라이선스된 자료, 독점적 자료, 또는 오픈 웹 자료를 사용하고 있는지를 이해해야 합니다. 이러한 선택에 따라 법적 및 평판 리스크 (reputational exposure)는 크게 달라질 수 있습니다.

외부 콘텐츠에 의존하는 AI 시스템을 평가하는 조직은 데이터 출처, 액세스 제어 및 운영 요구 사항을 고려한 AI 아키텍처, 워크플로우 설계 및 통합 (AI architecture, workflow design and integration)에 대해 Scalevise와 협력할 수 있습니다.

다음 단계는 출판사 라이선스 협상, 법적 결과, 그리고 변화하는 크롤러 정책에 의해 형성될 가능성이 높습니다. 핵심 질문은 이제 출판사가 기술적으로 자동화된 접근을 제한할 수 있는지 여부가 아닙니다. AI 제품이 사용자들을 위해 정보를 점점 더 많이 요약, 검색 및 생성할 때, 신뢰할 수 있는 저널리즘의 가치가 어떻게 인정받을 것인가 하는 점입니다.

자주 묻는 질문 (Frequently Asked Questions)

출판사들은 왜 AI 크롤러를 차단하나요?

출판사들은 자신들의 저널리즘이 AI 학습 및 관련 AI 서비스에 어떻게 사용될지에 대해 더 큰 통제권을 확보하고자 합니다. 여기에는 보상, 라이선스 조건, 출처 표기 (attribution), 트래픽 및 법적 권리에 대한 우려가 포함됩니다.

OpenAI의 GPTBot 차단은 얼마나 흔한가요?

Reuters Institute의 조사에 따르면, 2023년 말 기준으로 전 세계 상위 온라인 뉴스 사이트의 약 48%가 GPTBot을 차단했습니다. 이 연구에 참여한 미국의 주요 뉴스 사이트들 사이에서는 그 비중이 약 79%에 달했습니다.

출판사의 차단이 웹사이트에 대한 모든 AI 관련 접근을 막나요?

반드시 그렇지는 않습니다. 정책은 불균등할 수 있습니다. 특정 사이트는 학습용 크롤러 (training crawler)는 제한하면서도, 다른 크롤러나 형태의 접근 방식은 다르게 취급할 수 있습니다.

출판사들이 AI 기업들과 협상을 하는 대신 차단만 하고 있나요?

아닙니다. 일부 출판사들은 라이선스 계약 (licensing arrangements)을 추진하기도 했습니다. Axel Springer는 연구에서 언급된 사례로, 출판사 콘텐츠의 AI 활용을 공식화하고 수익화하려는 조직의 예시로 제시되었습니다.

웹 콘텐츠에 의존하는 AI 시스템을 사용하는 기업들은 무엇을 고려해야 하나요?

기업들은 데이터 출처 (data provenance), 권한 (permissions), 라이선스 계약 (licensing arrangements), 그리고 워크플로 (workflows) 내에서 외부 콘텐츠의 역할을 평가해야 합니다. 접근 규칙과 법적 리스크 (legal risk)는 출처와 사용 사례 (use case)에 따라 달라질 수 있습니다.

결론

AI 크롤러에 대한 출판사들의 제한은 온라인 뉴스 생태계에서 확인된 중대한 변화입니다. 이것이 일률적인 봉쇄를 만드는 것은 아니지만, 저널리즘에 대한 접근을 더욱 조건부로 만듭니다. 결과적으로 AI 시스템이 신뢰할 수 있는 정보를 획득하고 사용하는 방식에 있어 라이선싱 (licensing), 법적 분쟁 (legal disputes), 그리고 데이터 거버넌스 (data governance)가 더 큰 역할을 하게 될 것입니다.