Crawly는 웹사이트를 크롤링하고 구조화된 데이터를 추출하기 위해 스파이더(spiders)를 구축하는 데 사용되는 Elixir 애플리케이션 프레임워크입니다.

• 데이터 마이닝, 정보 처리 및 역사적 아카이브 기능을 지원합니다.
• Linux, Windows, macOS 및 BSD에서 Elixir ~> 1.14 버전과 함께 작동합니다.
• 도메인 필터링, 고유 요청(unique requests), 사용자 에이전트 로테이션을 위한 미들웨어를 포함하고 있습니다.
• 유효성 검사(validation), 중복 제거(deduplication), JSON 인코딩 및 파일 출력용 파이프라인을 제공합니다.

여기에서 살펴보세요: