1980~2013 년대 유즈넷 코퍼스를 구축하는 데 수년을 투자했습니다 [P]

요약

본 기술 기사는 1980년부터 2013년까지의 방대한 유즈넷(Usenet) 아카이브를 구축한 과정을 소개합니다. 이 코퍼스는 1,031억 토큰 규모에 4억 8천만 개의 게시물을 포함하며, 33년간의 연속적인 언어 진화 기록을 담고 있습니다. 개발자는 데이터 전처리 과정(중복 제거, 바이너리/이메일 주소 삭제 등)과 언어 감지 방법론을 상세히 설명하고, 이 코퍼스가 AI 모델 학습에 있어 독특한 '시간적 아크'를 제공함을 강조합니다.

핵심 포인트

• 1980년~2013년까지 33년간의 연속적인 유즈넷 데이터셋 구축 완료
• 총 1,031억 토큰 규모와 4억 8천만 개의 게시물을 포함하는 대규모 코퍼스
• 데이터 전처리 과정에 중복 제거, 바이너리/이메일 주소 삭제 등 정교한 방법론 적용
• AI가 존재하기 이전 시대의 언어 진화(temporal arc)를 연구할 수 있는 독특한 자료 제공