HF는 파일 크기가 거대하고, 추가 전용(append-only) 방식이며, 끊임없이 성장하는 로보틱스(robotics) 및 비디오 AI(video AI)와 같은 가혹한 도메인에서, 공개 및 비공개 데이터를 저장하기 위한 최고의 장소로 조용히 자리 잡고 있습니다.

예를 들어볼까요? 공개 로보틱스 데이터셋은 2025년 초 1,000개에서 오늘날 60,000개로 폭발적으로 증가했으며, 비공개 데이터셋은 그 두 배에 달합니다.

이유가 무엇일까요? 단 한 대의 로봇이 하루 종일, 영원히 140 MB/s의 속도로 기록하기 때문입니다. 이 데이터는 저장되어야 하고, GPU로 스트리밍되어야 하며, 반복적으로 하드웨어로 다시 전송되어야 합니다. 만약 이를 잘못 처리하면 데이터셋이 도착하기를 기다리는 동안 귀하의 GPU는 0 MB/s 상태로 유휴(idle) 상태가 됩니다. 반대로 제대로 처리하면(Hub에서 직접 스트리밍하고, 미리 가열된 캐시(pre-warmed cache)를 사용하면), 동일한 GPU가 충분한 데이터를 공급받아 약 1,326 MB/s의 속도로 질주하게 됩니다. 🚀

LeRobot + Hugging Face Storage Buckets가 이를 어떻게 수행하는지 확인해 보세요: https://t.co/SOUPAUpiZc
[IMG:1]