🚨 웹 스크래핑 (Web Scraping)이 영원히 바뀌었습니다.

지금까지의 도구들은 웹페이지를 평문(Plain text)으로 변환하면서 그 과정에서 시각적 정보의 상당 부분을 잃어버렸습니다.

누군가 이 문제를 해결하기 위해 오픈 소스 (Open-source) 대안을 만들어냈습니다.

그 이름은 PixelRAG이며, 단순히 HTML을 분석하는 대신 페이지를 캡처하여 비전 모델 (Vision model)이 픽셀로부터 직접 정보를 읽을 수 있도록 합니다.

이것이 달성하는 기능입니다:

→ 표, 그래프, 열 및 시각적 구조를 보존합니다
→ 웹페이지, 이미지 및 PDF 문서를 처리합니다
→ 콘텐츠 위에서 직접 검색할 수 있는 시각적 인덱스 (Visual index)를 생성합니다
→ Claude Code가 모든 URL을 분석할 수 있도록 플러그인을 포함합니다
→ 시각적 임베딩 (Visual embeddings) 및 FAISS 인덱스와 함께 작동합니다

가장 흥미로운 점은:

팀에서 3,000만 개 이상의 스크린샷을 포함한 Wikipedia의 시각적 인덱스를 구축했다는 것입니다.

그들의 테스트에 따르면, 이 시스템은 질의응답 (Q&A) 작업에서 텍스트 기반의 가장 뛰어난 RAG보다 18.1% 더 높은 성능을 보였습니다.

PixelRAG는 페이지의 단순화된 버전을 읽는 대신, 사람이 보는 것과 똑같이 페이지를 해석합니다.

이 프로젝트는 완전히 오픈 소스 (Open-source)이며 Apache 2.0 라이선스를 따릅니다.

댓글에 리포지토리 (Repo) 링크를 남겨둡니다 👇