인터넷 전체를 대신 스크래핑해 주는 10가지 GitHub 저장소

인터넷 전체를 대신 스크래핑해 주는 10가지 GitHub 저장소.

하나도 빠짐없이 북마크하세요. 각 저장소는 기업들이 영업 전화와 계약을 통해 판매하는 수준의 접근성을 제공하며, 지구상의 어떤 웹사이트에서든 깨끗한 데이터를 추출해 옵니다.

Firecrawl. 어떤 웹사이트든 지정하면 모든 페이지를 크롤링하고, JavaScript를 렌더링하며, AI가 즉시 읽을 수 있는 깨끗한 구조화된 데이터 (structured data)를 반환합니다. 현재 AI 스택에서 가장 널리 채택된 스크래핑 백본 (backbone) 중 하나이며, 완전히 오픈 소스입니다.

Crawl4AI. 어떤 사이트든 깨끗하고 LLM (대규모 언어 모델)에 최적화된 마크다운 (markdown)으로 변환합니다. API 키, 계정, 페이지당 비용이 필요 없습니다. 수만 개의 스타를 보유하고 있으며 GitHub에서 가장 빠르게 성장하는 크롤러 중 하나입니다.

browser-use. 인간처럼 실제 브라우저를 제어하는 AI 에이전트입니다. 클릭, 스크롤, 로그인, 양식 채우기 등을 수행하며 단순한 크롤러가 접근할 수 없는 사이트에서 데이터를 추출합니다. ETH Zurich의 연구원 두 명이 개발했으며 MIT 라이선스를 따릅니다.

Crawlee. 완전한 전문가용 스크래핑 프레임워크입니다. 순환 프록시 (Rotating proxies), 자동 재시도, 브라우저 핑거프린트 스푸핑 (browser fingerprint spoofing), 큐 관리 (queue management) 기능을 제공합니다. 차단을 방지해 주는 핵심 장치입니다.

Scrapy. 10년 넘게 데이터 팀을 묵묵히 지원해 온 오리지널 산업용 스크래퍼입니다. 수백만 개의 페이지를 크롤링하고, 무엇이든 추출하며, 깨끗하게 내보낼 수 있습니다.

MarkItDown. Microsoft가 직접 만든 도구로, 모든 파일이나 웹 페이지(PDF, Office 문서, HTML, 이미지 등)를 AI가 실제로 사용할 수 있는 깨끗한 마크다운으로 변환합니다.

Scrapling. 보이지 않게 설계된 스텔스 스크래퍼로, 사이트의 레이아웃이 변경될 때 자동으로 적응하며 봇 탐지 (bot detection)를 우회합니다.

scrcpy. 컴퓨터에서 모든 Android 휴대폰을 미러링하고 제어하여, 웹사이트가 전혀 없는 앱에서도 데이터를 추출하고 자동화할 수 있습니다.

AutoScraper. 원하는 결과물의 예시를 하나만 보여주면 패턴을 파악하여 나머지를 자동으로 스크래핑합니다. 셀렉터 (selectors)나 유지 관리할 코드가 필요 없습니다.

curl-impersonate. 실제 브라우저의 핑거프린트를 모방하는 curl 버전입니다. Chrome을 열어둔 인간과 똑같이 보이게 하여 봇 방어 체계를 몰래 통과합니다.

기업들은 이러한 접근 권한을 한 달에 2,000달러에 판매합니다. 소스 코드는 바로 여기, 무료로 공개되어 있습니다.
[IMG:1]
[IMG:2]
[IMG:3]