AI를 위한 웹 페이지 크롤링: 불필요한 정보를 제거하고 깨끗한 Markdown/JSON으로 변환하는 webclaw 오픈소스 도구

요약

webclaw는 웹 페이지에서 광고나 스크립트 같은 불필요한 정보를 제거하고 깨끗한 Markdown 또는 JSON으로 변환해주는 오픈소스 도구입니다. LLM과 RAG 프로세스에 최적화된 본문 추출 기능을 제공하며, MCP를 통해 Claude Code 및 주요 에이전트 도구와 연동할 수 있습니다.

핵심 포인트

• 웹 페이지를 LLM 친화적인 Markdown/JSON 형식으로 변환
• RAG(검색 증강 생성) 프로세스에 즉시 활용 가능한 데이터 제공
• 문서 사이트 전체 일괄 크롤링 및 페이지 변화 비교 기능 지원
• MCP 지원으로 Claude Code, Codex 등 에이전트 도구와 연동 가능