Hugging Face, 역대 최대 규모의 오픈 소스 코드 데이터셋인 The Stack v3 출시

요약

Hugging Face가 역대 최대 규모의 오픈 소스 코드 데이터셋인 The Stack v3를 출시했습니다. 사용자는 품질 필터링과 개인정보 삭제가 완료된 학습용 데이터셋 또는 114TB 규모의 전체 코퍼스를 선택하여 활용할 수 있습니다.

핵심 포인트

• The Stack v3는 역대 최대 규모의 오픈 소스 코드 데이터셋임
• 학습용(stack-v3-train)은 중복 제거 및 개인정보 삭제가 완료됨
• 전체 코퍼스(stack-v3-full)는 114TB 규모로 직접 구성 가능함
• Hugging Face Storage Bucket을 통해 대규모 데이터 제공