AI 붐으로 인한 하드 드라이브 가격 폭등 — Wayback Machine 과 Wikimedia 가 고난

인터넷은 AI 붐이 저장소 위기를 야기하여 더 어렵게 보관되고 있다. NAND 와 기계식 드라이브 모두 부족에 직면했다. 같은 대용량 HDD 는 이제 생산 용량이 축소되어 다른 곳에서는 완전히 예약된 상태였기에 최대 3 배까지 가격이 상승했다. 이러한 가격 상승은 산업 전반에서 일반적인 속도로 데이터를 보존하는 것을 어렵게 만들었다, 404 Media 에 의해 보고되었다.

인테넷 아카이브는 "모든 지식에 대한 보편적 접근"을 제공하는 임무의 하나이며, 이 위기에 영향을 받는 조직 중 하나이다. 그것은 약 210 petabytes 의 아카이브를 보유하고 있으며, Wayback Machine 과 같은 컬렉션에는 매일 100 terabyte 가 추가된다. AI 붐 속에서 그것을 유지하는 것은 "시간과 돈을 낭비하는 매우 현실적인 문제"로, 설립자 Brewster Kahle 는 404 Media 에 말했다.

28-30TB 하드 드라이브는 이 일에 이상적이지만 단순히 재고가 없거나 거대한 가격으로 판매된다. 운 좋게도, 인테넷 아카이브는 능동적 기부자와 bit-rot fighters 의 열정적인 커뮤니티를 가지고 있으며, 일부 우려를 완화하는 데 도움을 주지만, 우회법을 찾는 것만이다. 조직은 또한 제조업체에서 드라이브를 소싱하려고 시도하고 있지만, 그들은 아마도 백오더로 바쁘다.

Wikimedia Foundation 은 위키백과 뒤에 있는 비영리 기업을 공유하는 유사한 감정을 설명한다, 현재 난동은 이미 신중한 예산 할당을 필요로 하는 6500 만 개 이상의 기사를 유지하는 것을 악화시켰다. 404 Media 에 spokesperson 는 "메모리와 하드 드라이브 구매의 주요 영향과 서버 배송의 납기 및 미래 주문을 배치할 수 있는 능력"이라고 말했다.

단순히 부족을 넘어, AI 붐은 또 다른 방식으로 보관 노력을 영향을 미쳤으며, 이는 되돌릴 수 없을 것이다: 스크래핑. LLMs 는 종종 인터넷에서 획득되는 데이터의 큰 부분을 훈련한다, 때로는 불법적으로도. 예상과 같이, 많은 사이트가 무작위로 스크랩되어 일부 AI 의 학습 자료가 되는 것을 좋아하지 않는다, 그래서 그들은 이러한 노력을 방지하는 대응책을 세웠다.

인터넷을 보관하는 것은 첫 번째 단계가 동일하다 — 그것은 보존하기 위해 정보를 추출해야 한다, 하지만 웹사이트 운영자는 점점 더 이러한 노력을 차단하고 있다. 교육 목적으로 스냅샷을 생성하기 위해 사이트를 스크랩할 것이지만, 다른 bot 은 이제 AI 를 위한 정보를 수집하려는 bot 과 동일한 방식으로 취급된다, 의도적으로든 아니든.

보존 활동에 기여하는 커뮤니티 구성원들은 무엇을 보존할지 다시 한번 고민해야 한다. 하드디스크 가격이 지금 이렇게 비싸기 때문에, r/DataHoarders 하위커뮤니티의 애호가들조차 아카이빙을 완전히 중단하고 가격 안정기를 기다리는 도움 포스트를 올리고 있다. 가끔은 할인 거래를 찾을 수 있지만, MSRP(Manufacturer's Suggested Retail Price) 기준 대용량 드라이브를 구하는 것은 거의 불가능해졌다.

Tom's Hardware에서 가장 좋은 뉴스와 심층 리뷰를 받아보세요. 직접 이메일로 보내드립니다.

그것들은 비용 상승에 따라 추격해야 하는 일반 개인들이고, 더 큰 비영리 단체들은 여전히 (의도대로) 버티고 있다. 하지만 중간에 있는 플레이어는 어떨까? 행정부 간 정부 웹사이트 아카이빙을 전문으로 하는 End of Term Archive 는 업그레이드가 필요한 시점에 상황이 안정될 것임을 희망하고 있다.

*Google News 에서 Tom's Hardware 를 팔로우하거나, 우리를 선호하는 소스로 추가하여 최신 뉴스, 분석 및 리뷰를 피드에서 받아보세요.

Hassam Nasir 은 하드웨어 애호가로서 기술 편집자와 저술가로 여러 년의 경험을 가진다. 그는 상세한 CPU 비교와 일반적인 하드웨어 뉴스를 중점적으로 다루고 있다. 그가 일하지 않을 때는, 그의 끊임없이 진화하는 커스텀 워터루프 게이밍 리그를 위한 튜브를 휘두르거나, 최신 CPU 와 GPU 를 벤치마킹하기 위해 재미로 한다.