1980~2013 년대 유즈넷 코퍼스를 구축하는 데 수년을 투자했습니다 [P]

지난 몇 년간 저는 제가 믿고 있는 가장 큰 사적 사전학습 코퍼스 중 하나인 1980 년부터 2013 년까지의 완전한 유즈넷 아카이브를 조용히 조립하고 처리해 왔습니다.

이것이 최종적으로 된 결과는 다음과 같습니다:

• 1031 억 토큰 (cl100k_base)
• 9 개 뉴스그룹 계층에 걸친 4 억 8 천만 개의 게시물
• 1 만 8 천 347 개의 뉴스그룹 커버리지
• 33 년의 연속된 커버리지

처리 파이프라인에는 완전한 중복 제거, 바이너리 제거 (계층 수준에서 alt.binaries.*는 기록 수준의 정제 전에 제외됨), 인용 텍스트 처리, 패턴 매칭 및 Message-ID 의 SHA-256 해시를 통한 이메일 주소 삭제, 그리고 원본 MBOX 아카이브를 gzip 압축 JSONL 로의 변환이 포함되었습니다.

각 기록에 대해 Meta 의 fasttext LID-176 를 사용하여 언어 감지를 수행했습니다. 코퍼스는 영어가 96.6% 를 차지하며, soc.culture.* 그룹을 비롯한 100 개 이상의 다른 언어에서 의미 있는 표현이 포함되어 있습니다.

이 데이터셋에서 훈련 관점에서 가장 흥미로운 점은 시간적 아크 (temporal arc) 입니다. 1986 년 이전에는 부피가 희박했으나, 90 년대 초에 걸쳐 꾸준히 증가한 후 1999~2000 년경 정점을 찍은 뒤 포럼과 소셜 미디어로 대체되면서 감소했습니다. 이는 SEO, 참여 최적화, AI 생성 콘텐츠가 존재하기 전의 단일 일관된 코퍼스에 담긴 33 년간의 언어 진화의 창입니다.

저는 Hugging Face 에 전체 데이터 카드, 정제 방법론, 및 대표 샘플 (계층별 5 천 개 게시물 + 결합 세트) 을 게시했습니다: https://huggingface.co/datasets/OwnedByDanes/Usenet-Corpus-1980-2013

처리 파이프라인이나 데이터 자체에 대한 질문이 있으시면 기꺼이 답변해 드립니다.