웹상의 거의 모든 것을 스크래핑할 수 있는 10가지 GitHub 저장소(Repositories)를 찾았습니다.

모두 저장해 두세요. 각각의 도구는 어떤 웹사이트에서든 깨끗한 데이터를 추출할 수 있습니다. 이러한 방식의 접근은 보통 영업 전화와 계약이 필요합니다.

1. https://t.co/tCHDRi8wIT

어떤 웹사이트든 지정하면 모든 페이지를 스크래핑하고, JavaScript를 렌더링하며, AI가 즉시 읽을 수 있는 깨끗한 구조화된 데이터 (structured data)를 반환합니다. 13만 개의 별(stars)을 보유하고 있으며, GitHub의 상위 100개 저장소에 속합니다. AI 스타트업의 절반이 조용히 사용 중인 크롤러(crawler) 골격이며, 완전한 오픈 소스 (open source)입니다.

2. https://t.co/zk8mxFrACR

GitHub의 1위 크롤러입니다. 어떤 웹사이트든 LLM(대규모 언어 모델)이 사용하기 적합한 깨끗한 마크다운 (markdown)으로 변환합니다. 유료 서비스보다 빠르며, API 키도, 계정도, 페이지당 비용도 필요하지 않습니다. 16달러짜리 유료 크롤러에 분노한 한 개발자가 며칠 만에 만들어냈습니다. 5.1만 개의 별을 보유하고 있으며, Apache 2.0 라이선스입니다.

3. https://t.co/Twp1G4DBe4

실제 사람처럼 브라우저를 제어하는 AI 에이전트 (AI agent)입니다. 클릭, 스크롤, 로그인, 양식 채우기, 그리고 이전에 본 적 없는 웹사이트에서 데이터를 추출합니다. Zurich ETH의 두 연구원이 개발했으며, 1년 만에 9.5만 개의 별을 달성했습니다. 단순한 크롤러가 손댈 수 없는 페이지들을 스크래핑합니다. MIT 라이선스입니다.

4. https://t.co/vJs6QEJxv0

회전 프록시 (rotating proxies), 자동 재시도 (automatic retries), 브라우저 핑거프린트 스푸핑 (browser fingerprint spoofing), 그리고 큐 관리 (queue management)를 갖춘 완전한 전문가용 크롤러 프레임워크 (crawler framework)입니다. 차단 방지 (anti-ban)를 위한 전체 툴킷을 제공합니다. 크롤링 기업들이 수천 달러를 청구하는 기술 스택을 이제 무료로 사용할 수 있습니다.

5. https://t.co/KUz9h1q3CD

10년 넘게 데이터 팀들을 조용히 지원해 온 산업 등급 (industrial-grade) 크롤러입니다. 수백만 개의 페이지를 스크래핑하고, 모든 콘텐츠를 추출하며, 깨끗하게 내보냅니다. 대부분의 유료 도구가 감당할 수 없는 규모에서 검증되었으며, 항상 무료입니다.

6. https://t.co/z4btP75t0p

Microsoft가 직접 만든 도구로, PDF, Office 문서, HTML, 이미지 등 모든 파일이나 웹페이지를 AI가 사용할 수 있는 깨끗한 마크다운 (markdown)으로 변환합니다. 많은 데이터 파이프라인 (data pipeline) 기업들이 이를 중심으로 구축하고 있으며, Microsoft에 의해 오픈 소스로 공개되었습니다.

7. https://t.co/QzcSMnIALW

웹사이트 레이아웃 변경에 자동으로 적응하고, 안티 스크래핑 (anti-scraping) 탐지를 우회하는 스텔스 크롤러 (Stealth crawler)입니다. 안티 스크래핑 업체들이 프리미엄 기능으로 판매하던 '쫓고 쫓기는 게임'을 이제 무료 오픈 소스로 이용할 수 있습니다.

8. https://t.co/GZGuVTyGLZ

컴퓨터에서 모든 안드로이드 (Android) 폰을 원격 제어하여 데이터를 추출하고, 웹사이트 없이도 앱을 자동화할 수 있습니다. 대부분의 크롤러가 접근할 수 없는 순수 모바일 플랫폼으로 가는 가교 역할을 합니다. 13만 개 이상의 스타 (stars)를 보유하고 있으며, Apache 2.0 라이선스입니다.

9. https://t.co/yz6GlU3B7B

예시를 하나만 제공하면 웹사이트의 나머지 부분을 스크래핑하기 위한 패턴을 자동으로 학습합니다. 셀렉터 (selectors)도, 코드 유지보수도 필요 없습니다.