LLMSearchIndex - RAG 애플리케이션을 위한 2 억 개 이상의 인덱싱 웹 페이지를 갖춘 오픈 소스 로컬 웹 검색 라이브러리

요약

LLMSearchIndex는 로컬 LLM 및 RAG 시스템을 위한 오픈 소스 웹 검색 라이브러리입니다. 이 라이브러리는 FineWeb과 Wikipedia의 방대한 양의 웹 페이지를 포함하는 커스텀 압축 인덱스를 사용하여, 유료 API나 외부 크롤러에 의존하지 않고도 인터넷 규모의 로컬 검색 기능을 제공합니다. 약 2GB 크기의 이 인덱스는 대부분의 하드웨어에서 빠른 속도로 실행되며, RAG 컨텍스트로 결과를 쉽게 가져올 수 있도록 파이썬 인터페이스를 제공합니다.

핵심 포인트

• LLMSearchIndex는 로컬 LLM/RAG 시스템을 위한 대규모 웹 검색 기능을 제공하는 오픈 소스 라이브러리입니다.
• FineWeb과 Wikipedia 데이터를 포함한 커스텀 압축 인덱스를 사용하여, 외부 API나 메타 검색 크롤러 의존성을 제거했습니다.
• 약 2GB의 인덱스는 대부분의 하드웨어에서 빠른 속도로 로컬 실행이 가능합니다.
• 파이썬 라이브러리 인터페이스를 통해 RAG 컨텍스트에 필요한 검색 결과를 쉽게 가져올 수 있습니다.