AI에게 웹 페이지 콘텐츠를 크롤링하게 하면, 내비게이션 바, 광고, 스크립트 코드와 같은 무효한 정보들이 한 무더기로 긁혀 오는 경우가 많습니다.

최근 webclaw라는 오픈소스 (Open Source) 도구를 발견했는데, 웹 페이지를 깨끗한 Markdown 또는 JSON으로 직접 변환할 수 있습니다.

웹 페이지 링크만 입력하면 불필요한 정보를 자동으로 제거하고, 우리가 실제로 필요로 하는 핵심 웹 페이지 본문만 남겨줍니다.

또한 대규모 언어 모델 (LLM)에 최적화된 간결한 형식을 출력할 수 있어, 바로 RAG (Retrieval-Augmented Generation) 프로세스에 활용할 수 있습니다.

GitHub: https://t.co/yrwFbW2wa6

단일 페이지 추출 외에도 문서 사이트 전체를 일괄 크롤링하거나, 페이지의 전후 변화를 비교하고, 브랜드 색상 및 Logo 등의 정보를 추출할 수도 있습니다.

MCP (Model Context Protocol) 서비스를 지원하여 Claude Code, Codex 등 주요 Agent 도구에 연결하여 사용할 수 있습니다.