Infini-News: 13억 개의 처리된 Common Crawl 뉴스 기사에 대한 효율적인 쿼리 가능 접근 방식

요약

Infini-News는 13억 개 이상의 Common Crawl 뉴스 기사를 효율적으로 검색하고 분석할 수 있도록 설계된 새로운 툴킷이자 인덱스입니다. 텍스트 정제, 언어 감지, 지리적 귀속 정보를 포함한 풍부한 메타데이터를 제공하며, Suffix-array 기반의 Infini-gram 인덱스를 통해 대규모 아카이브 내 텍스트 패턴을 1초 미만으로 검색할 수 있습니다.

핵심 포인트

• 13억 5천만 개 이상의 뉴스 기사에 대한 텍스트 추출 및 구조화된 메타데이터 제공
• GlotLID, lingua, CommonLingua를 활용한 정밀한 언어 감지 및 222개국 대상 지리적 귀속 정보 포함
• Infini-gram 인덱스(Suffix-array 구조)를 통해 전체 아카이브에서 1초 미만의 초고속 검색 가능
• 계산 사회 과학 및 NLP 연구를 위한 대규모 뉴스 코퍼스의 접근성 및 비용 문제 해결