웹 페이지를 스크린샷으로 찍어 AI가 이미지 그대로 읽는다. HTML을 텍스트로 변환하는 과정을 통째로 버리는 발상의 RAG가 등장했다.

요약

PixelRAG는 웹 페이지를 HTML 텍스트로 변환하는 대신 스크린샷 이미지로 직접 읽어 처리하는 새로운 RAG 방식입니다. 이를 통해 표나 그래프의 레이아웃 손실 문제를 해결하며, 기존 텍스트 기반 RAG보다 높은 정확도를 보여줍니다.

핵심 포인트

• HTML 변환 과정 없이 스크린샷을 직접 활용하여 레이아웃 정보 보존
• 6개 벤치마크에서 기존 텍스트 RAG 대비 최대 18.1% 정확도 향상
• Qwen3-VL-Embedding-2B 모델을 LoRA 기법으로 파인튜닝하여 구현
• 스크레이핑 및 복잡한 웹 구조 해석 문제 해결