Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
웹사이트에서 깨끗한 데이터를 추출할 수 있는 10가지 유용한 GitHub 오픈 소스 저장소를 소개합니다. AI 모델 학습 및 데이터 파이프라인 구축에 최적화된 크롤러, AI 에이전트, 마크다운 변환 도구 등을 포함합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 X @sulekhat95 (자동 발견)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기모두 저장해 두세요. 각각의 도구는 어떤 웹사이트에서든 깨끗한 데이터를 추출할 수 있습니다. 이러한 방식의 접근은 보통 영업 전화와 계약이 필요합니다.
어떤 웹사이트든 지정하면 모든 페이지를 스크래핑하고, JavaScript를 렌더링하며, AI가 즉시 읽을 수 있는 깨끗한 구조화된 데이터 (structured data)를 반환합니다. 13만 개의 별(stars)을 보유하고 있으며, GitHub의 상위 100개 저장소에 속합니다. AI 스타트업의 절반이 조용히 사용 중인 크롤러(crawler) 골격이며, 완전한 오픈 소스 (open source)입니다.
GitHub의 1위 크롤러입니다. 어떤 웹사이트든 LLM(대규모 언어 모델)이 사용하기 적합한 깨끗한 마크다운 (markdown)으로 변환합니다. 유료 서비스보다 빠르며, API 키도, 계정도, 페이지당 비용도 필요하지 않습니다. 16달러짜리 유료 크롤러에 분노한 한 개발자가 며칠 만에 만들어냈습니다. 5.1만 개의 별을 보유하고 있으며, Apache 2.0 라이선스입니다.
실제 사람처럼 브라우저를 제어하는 AI 에이전트 (AI agent)입니다. 클릭, 스크롤, 로그인, 양식 채우기, 그리고 이전에 본 적 없는 웹사이트에서 데이터를 추출합니다. Zurich ETH의 두 연구원이 개발했으며, 1년 만에 9.5만 개의 별을 달성했습니다. 단순한 크롤러가 손댈 수 없는 페이지들을 스크래핑합니다. MIT 라이선스입니다.
회전 프록시 (rotating proxies), 자동 재시도 (automatic retries), 브라우저 핑거프린트 스푸핑 (browser fingerprint spoofing), 그리고 큐 관리 (queue management)를 갖춘 완전한 전문가용 크롤러 프레임워크 (crawler framework)입니다. 차단 방지 (anti-ban)를 위한 전체 툴킷을 제공합니다. 크롤링 기업들이 수천 달러를 청구하는 기술 스택을 이제 무료로 사용할 수 있습니다.
10년 넘게 데이터 팀들을 조용히 지원해 온 산업 등급 (industrial-grade) 크롤러입니다. 수백만 개의 페이지를 스크래핑하고, 모든 콘텐츠를 추출하며, 깨끗하게 내보냅니다. 대부분의 유료 도구가 감당할 수 없는 규모에서 검증되었으며, 항상 무료입니다.
Microsoft가 직접 만든 도구로, PDF, Office 문서, HTML, 이미지 등 모든 파일이나 웹페이지를 AI가 사용할 수 있는 깨끗한 마크다운 (markdown)으로 변환합니다. 많은 데이터 파이프라인 (data pipeline) 기업들이 이를 중심으로 구축하고 있으며, Microsoft에 의해 오픈 소스로 공개되었습니다.
웹사이트 레이아웃 변경에 자동으로 적응하고, 안티 스크래핑 (anti-scraping) 탐지를 우회하는 스텔스 크롤러 (Stealth crawler)입니다. 안티 스크래핑 업체들이 프리미엄 기능으로 판매하던 '쫓고 쫓기는 게임'을 이제 무료 오픈 소스로 이용할 수 있습니다.
컴퓨터에서 모든 안드로이드 (Android) 폰을 원격 제어하여 데이터를 추출하고, 웹사이트 없이도 앱을 자동화할 수 있습니다. 대부분의 크롤러가 접근할 수 없는 순수 모바일 플랫폼으로 가는 가교 역할을 합니다. 13만 개 이상의 스타 (stars)를 보유하고 있으며, Apache 2.0 라이선스입니다.
예시를 하나만 제공하면 웹사이트의 나머지 부분을 스크래핑하기 위한 패턴을 자동으로 학습합니다. 셀렉터 (selectors)도, 코드 유지보수도 필요 없습니다.