𝕏의 Anton Lozhkov로부터: https://x.com/anton_lozhkov/status/2080254608639701222 두 가지 진입 방법:

stack-v3-train - 중복 제거(near-deduplicated)가 거의 완료되었고, 품질 필터링(quality-filtered) 및 개인정보(PII)가 삭제(redacted)되었으며, 콘텐츠가 인라인(inline)으로 포함되어 있습니다. 해당 데이터셋을 point load_dataset 하여 바로 사용하세요. https://huggingface.co/datasets/HuggingFaceCode/stack-v3-train

stack-v3-full - 114 TB 전체 코퍼스(corpus)를 HF Storage Bucket으로 제공합니다: 모든 중복 항목이 클러스터 ID(cluster IDs)와 함께 유지되며, 제외된 파일들에 대한 스텁(stubs)이 포함되어 있습니다. 직접 중복 제거(dedup), 필터링(filters) 및 믹스(mixes)를 구성하여 사용하세요. https://huggingface.co/buckets/HuggingFaceCode/stack-v3-full

/u/Nunki08 제출 [link] [comments]