Hugging Face Hub의 Storage Buckets: ML 아티팩트 관리를 위한 혁신적 저장소

요약

Storage Buckets는 S3와 유사한 뮤터블(mutable) 객체 스토리지를 제공하며, 특히 머신러닝 (ML) 아티팩트 관리에 최적화되었습니다. 기존의 Git 기반 버전 관리 시스템이 체크포인트나 데이터 파이프라인처럼 지속적으로 변화하는 콘텐츠를 다루기에는 부적합하다는 문제점을 해결합니다. Xet이라는 청크 기반 백엔드를 활용하여 중복된 데이터를 효율적으로 처리하고, 전송 속도와 비용을 절감하며, 재현 가능한 대규모 ML 워크로드를 구축할 수 있게 합니다.

핵심 포인트

• Storage Buckets는 사용자/조직 네임스페이스 아래에 위치하는 비(非)버전 관리형 컨테이너로, hf://buckets/username/my-training-bucket와 같은 핸들로 접근 가능합니다.
• Xet 기반의 청크 분할 및 중복 제거(Deduplication) 기능을 통해, 유사한 데이터셋이나 연속적인 모델 체크포인트 저장 시 대역폭과 비용을 획기적으로 절감합니다. (Enterprise 고객 대상)
• Pre-warming 기능을 지원하여, 컴퓨팅 리전 근처에 데이터를 미리 배치함으로써 분산 학습 및 대규모 파이프라인의 처리량(throughput)을 극대화할 수 있습니다.
• CLI 명령어(`hf buckets sync`, `hf buckets cp`) 외에도 Python (`huggingface_hub` v1.5.0+) 및 JavaScript를 통해 API로 통합 가능하며, fsspec 표준을 지원하여 Pandas, Polars 등 다양한 라이브러리에서 직접 접근할 수 있습니다.