메모리와 스토리지의 공급 부족 현상에 기여해 온 것에 이어, AI 기업들은 이제 인류의 문학적 역사라는 새로운 목표를 겨냥하고 있는 것으로 보입니다. 404 Media의 최근 조사 보고서에 따르면, 이 기업들은 대중의 반발을 피하기 위해 AI 모델을 위한 고품질 학습 데이터 (training data)를 확보하고자 중간 업체를 통해 수백만 권의 중고 서적을 구매하고 있는 것으로 알려졌습니다.

TH Premium으로 더 깊이 알아보기: AI 부족 현상

Nvidia

(이미지 출처: Nvidia)

• AI 데이터 센터가 전 세계의 메모리 및 스토리지 공급을 집어삼키고 있습니다
• Nexperia 및 DRAM 위기가 악화됨에 따라 칩 부족 현상이 자동차 산업을 강타하고 있습니다
• 가격 결정권이 공급업체로 다시 넘어가면서 Samsung과 SK hynix가 메모리 계약 기간을 단축하고 있습니다
• 메모리 제조업체들이 AI 붐을 통해 5,510억 달러를 벌어들일 전망입니다

AI는 발전을 위해 방대한 양의 데이터에 의존하지만, 아무 데이터나 사용하는 것은 아닙니다. 반드시 고품질 데이터여야 합니다. 문제는 흔히 "AI 슬롭 (AI slop)"이라 불리는 평범한 AI 생성 콘텐츠가 인터넷 전반에 확산되었다는 점입니다. 이러한 유형의 콘텐츠는 데이터 풀 (data pool)을 오염시키며, AI 학습에 역효과를 냅니다. 그 결과, 선도적인 AI 기업들은 지식을 얻기 위해 인간이 작성한 출처, 특히 2022년 이전의 인쇄 매체 출처로 눈을 돌리고 있습니다. 이러한 자료들은 독창적이고 오염되지 않은 콘텐츠를 포함하고 있을 가능성이 더 높기 때문입니다.

AI 기업들이 AI 학습을 위해 실물 도서로 눈을 돌린 전례가 있습니다. 예를 들어, 소송에 연루된 선도적인 AI 기업 중 하나인 Anthropic은 자사의 Claude AI 모델을 구축하기 위해 수많은 인쇄된 도서에서 정보를 추출하는 데 수백만 달러를 투자한 후, 이를 파쇄한 것으로 보고되었습니다. 이 회사는 Better World Books로부터 도서를 구매했습니다. 법원의 결정은 AI 학습을 위해 도서를 사용하는 것이 저작권법상 공정 이용 (fair use)에 해당한다고 확인했으나, Anthropic은 저자와 출판사의 저작권을 침해한 700만 권의 해적판 도서 저장소를 유지한 것에 대해 무려 $15억 달러의 벌금을 부과받았습니다. 이와 유사하게, 최근 출판사 연합은 Google이 자사의 Gemini AI 모델을 개발하기 위해 수백만 권의 저작권이 있는 도서를 불법적으로 사용했다는 혐의로 해당 기술 거물에 대해 소송을 제기했습니다.

1억 1,100만 권 이상의 도서 목록을 보유한 것으로 알려진 온라인 데이터베이스인 ISBNdb는 서점업자, 도서관, 유통업자들이 도서를 판매하기 위해 오랫동안 선호해 온 플랫폼입니다. AI 산업의 폭발적인 성장과 함께, ISBNdb는 AI 기업들을 위해 도서를 대량 구매할 수 있는 특화된 서비스를 제공하는 방향으로 사업 모델을 전환했습니다. 404 Media에 따르면, 주문량은 단일 거래당 1,000권에서 많게는 100만 권에 달합니다.

익명을 요구한 한 전문 서점업자는 올해 4월부터 시작된 전례 없는 도서 판매 급증에 대해 404 Media에 언급한 것으로 알려졌습니다. 이 판매자는 이전에는 실적이 좋은 주에도 약 20권 정도를 판매했으나, 최근 몇 달 동안 주간 판매량이 수백 권으로 급증했습니다. 이는 평소 물량보다 5배 증가한 수치입니다. Alibris 및 Biblio와 같은 플랫폼의 다른 서점업자들도 대량 구매의 유사한 급증 사례를 보고했습니다.

ISBNdb나 다른 특정 AI 기업이 구매를 진행하고 있다는 구체적인 증거는 없지만, 몇 가지 위험 신호(red flags)가 포착되었습니다. 특히, 대규모 구매는 도서를 식별하기 위해 전 세계적으로 사용되는 고유한 13자리 코드인 국제 표준 도서 번호 (ISBN)가 있는 도서만을 대상으로 했습니다. 주제, 장르 또는 저자 측면에서의 패턴은 발견되지 않았습니다. 또한 구매자들이 도서 가격을 무시하고, 가격이 과하게 책정되었더라도 비용에 상관없이 제목들을 낚아채는 양상을 보였습니다.

Anthropic의 소송 과정에서, Anthropic의 “Project Panama” 디지털화 프로젝트를 이끌기 전 Google Books 제작에 참여했던 Tom Harvey는 해당 AI 기업이 여러 문서 스캔 업체들을 고용했음을 확인했습니다. 대량의 비파괴적(non-destructive) 및 파괴적(destructive) 도서 스캔 서비스를 제공하는 Datamation Information Services가 그중 하나였습니다. 전자의 방식은 오버헤드 스캐너(overhead scanners), 평판 스캐너(flatbed scanners) 또는 V자형 이미징 시스템(V-shaped imaging systems)과 같은 다양한 도구를 사용합니다. 반면, 후자의 방식은 인력이 책의 제본을 뜯어내고 개별 페이지를 고속 산업용 스캐너에 넣는 방식입니다. 논리적으로 볼 때, AI 기업들은 더 효율적이고 비용이 저렴한 파괴적 방식을 선택합니다. 그 결과 수백만 권의 책이 파괴되고 있습니다.

분명히 인쇄된 도서는 AI에게 정보의 보물창고와 같습니다. 하지만 디지털화 과정에서 AI 기업들이 일반적인 도서 중에서 희귀 도서나 절판된 도서를 걸러내는지 불확실하기 때문에, 도서를 유통 과정에서 제거하는 것에 대한 윤리적 논쟁이 많이 일고 있습니다. 또 다른 주요 문제는 스캔된 도서들이 일반 대중은 접근할 수 없는 AI 학습용 비공개 데이터베이스로 직접 들어간다는 점입니다. 우리가 더 똑똑한 AI를 갖게 되는 것은 사실이지만, 이는 미래 세대가 해당 정보에 접근할 수 없게 된다는 대가를 치르는 것입니다.