Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
AI 스크레이퍼는 웹페이지 내용을 분석하여 상품명, 가격 등을 자동으로 추출하고 CSV/JSON으로 출력하는 도구입니다. 기존의 CSS 셀렉터 방식과 달리 자연어 지시를 사용해 페이지 구조 변화에 강하며, '획득', '해석', '검증' 3단계로 작동합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 Qiita AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기AI 스크레이퍼는 AI가 웹페이지의 내용을 분석하여 상품명이나 가격 등의 항목을 자동으로 추출하고 CSV나 JSON 형식으로 출력하는 도구입니다. 시작은 다음 3단계로 진행됩니다.
Bright Data에서는 구축된 Web Scraper API가 사용 가능한 사이트라면 이를 사용하고, 대상이 아닌 사이트는 Scraper Studio에 프롬프트를 전달하여 생성합니다. 사이트가 변경되면 Scraper Studio가 자체 복구(self-repair)를 합니다. 매월 5,000 크레딧의 무료 할당량이 있으며 신용카드가 필요하지 않습니다. 코드를 작성하지 않는 일회성 작업이라면 Thunderbit과 같은 브라우저 확장 기능도 선택지가 될 수 있습니다.
AI 스크레이퍼는 페이지 내용을 AI가 분석하여 항목을 특정하고, 표 형식의 데이터로 출력하는 도구입니다. 처리는 'HTML 획득', 'AI에 의한 항목 해석', 'CSV 또는 JSON 형식으로의 출력'의 3단계로 진행됩니다. 기존 방식의 크롤링이 CSS 셀렉터(CSS selector)나 XPath(HTML 상의 위치를 지정하는 표기법)로 획득 위치를 고정하는 것과 달리, AI 방식은 자연어 지시나 자동 제안된 항목명을 단서 삼아 페이지별 구조의 차이를 흡수합니다.
| 비교 항목 | 기존 방식 (CSS 셀렉터/XPath) | AI 방식 |
|---|---|---|
| 설정 방법 | 사이트마다 HTML 구조를 조사하여 획득 위치를 기술 | 얻고 싶은 항목명이나 자연어 지시 입력 |
| ... | ||
| AI가 담당하는 것은 '해석'에만 국한되며, HTML 획득과 블록 회피는 별도의 계층입니다. AI 스크레이퍼를 선택할 때는 다음 3개 계층으로 나누어 생각하면 판단을 잘못하기 어렵습니다. |
사이트의 레이아웃이 변경된 경우, 기존 방식은 획득 위치가 틀어져 멈추는 반면, AI 방식은 항목의 의미를 단서 삼아 찾기 때문에 동작을 지속하기 쉽습니다. 다만, 계속 작동하는 것과 정확한 값을 반환하는 것은 별개이며, 검증 계층은 생략할 수 없습니다.
먼저 출력할 CSV의 열명을 확정합니다. 예시로 '상품명', '표시 가격', '세금 구분', '상품 URL', '재고 상황' 등이 있습니다. '가격'처럼 모호한 명칭으로는 AI가 정가와 할인 후 가격 중 어느 것을 할당할지 불확실해지므로, '표시 가격'처럼 화면상의 값을 지칭하는 명칭을 채택하는 것이 중요합니다.
Bright Data의 Web Scraper API에는 1,300개 이상의 구축된 스크레이퍼가 준비되어 있으며, 결과는 JSON 또는 CSV 형식으로 반환됩니다. 이커머스 분야에서는 Amazon, Walmart, eBay, Shopee 및 기타 200개 이상의 소매 사이트가 대상입니다. 대상 사이트가 목록에 존재하는 경우, 새로 생성하지 않고 구축된 스크레이퍼를 사용합니다.
일괄 요청은 최대 5,000 URL까지 가능하며, 과금은 전송에 성공한 레코드 단위로 $0.75/1K 레코드를 시작으로 이용할 수 있습니다.
구축된 스크레이퍼가 없는 사이트에서는 Scraper Studio가 자연어 지시로부터 스크레이퍼를 생성합니다. 1페이지 로드당 1 크레딧을 소모하며, 요금은 $1/1K 요청부터 이용 가능합니다. 아래는 프롬프트의 예시입니다.
대상 URL: https://example.co.jp/category/pc
획득할 항목:
- 상품명
...
이 프롬프트에서는 다음 3가지를 명시하고 있습니다.
본격 실행 전에 10~20건만 획득하여 원 페이지와 대조합니다. 확인할 점은 다음과 같습니다.
불일치가 발견되면, 프롬프트 표현을 수정하여 재실행합니다.
출력 열에는 획득 일시(예: 2026-09-01T09:00:00+09:00)와 원 URL을 반드시 추가해야 합니다. 획득 일시가 있으면 나중에 가격 변동 추적이 가능하고, 원 URL이 있으면 불일치하는 행을 즉시 원 페이지에 표시할 수 있습니다.
정기 실행을 설정할 때는 실패 알림 전송처도 동시에 설정합니다. 또한, 매번의 결과를 이전 결과와 비교하여 다음 3가지 지표의 변화를 확인하는 것이 중요합니다.
노코드(No-code)로 이용 가능한 것은 Bright Data의 Scraper Studio(프롬프트 작성만으로 스크레이퍼 생성), Browse AI, Octoparse, Thunderbit입니다. 아래 표에서는 획득층과 해석층을 제품별로 정리했습니다. 검증층은 어떤 제품을 선택하든 사용자 측 작업이 됩니다.
표: AI 스크레이퍼 3단계 판정표 (획득층・해석층・검증층)
| 제품 | 획득층 (블록 대책) | 해석층 (항목 추출 방법) | 사이트 변경 대응 | 무료 플랜 및 시작 가격 |
|---|---|---|---|
| Bright Data | Web Unlocker API (지문 인식・CAPTCHA・IP 로테이션・JS 렌더링・재시도 처리) | 구축된 Web Scraper API, Scraper Studio (프롬프트로 생성) | Scraper Studio가 자가 복구 |
| ... |
Bright Data는 구축된 Web Scraper API와 프롬프트로부터 스크레이퍼를 생성하는 Scraper Studio를 제공하는 플랫폼입니다. 대상 사이트에 구축된 스크레이퍼가 존재하면 그것을 사용하고, 존재하지 않으면 Scraper Studio로 생성하는 순서로 동일 계정 내에서 방식을 전환할 수 있습니다. 획득층에는 Web Unlocker API가 있어 해석층뿐만 아니라 획득의 안정성까지 일관되게 보장할 수 있다는 점이 특징입니다.
포인트 앤 클릭(Point & Click) 작업 화면에서 간편하게 시작하고 싶다면, Browse AI나 Thunderbit가 도입이 용이합니다.
Browse AI는 포인트 앤 클릭으로 로봇을 만들고 페이지의 정기 감시와 변경 감지를 수행하는 노코드 플랫폼입니다. 200개 이상의 구축된 로봇이 준비되어 있으며, 변경 사항이 발생하면 이메일로 통지됩니다. 출력 목적지는 Google Sheets, Airtable, Zapier 등과 연동이 가능합니다.
Firecrawl은 AI 에이전트나 LLM(대규모 언어 모델) 애플리케이션을 위해 Search・Scrape・Crawl 등의 기능을 제공하는 오픈소스(OSS) 웹 데이터 API입니다. RAG(검색 확장 생성)의 입력이 되는 Markdown이나 JSON을 반환하는 용도에 특화되어 있어, 노코드로 표 데이터를 만들고 싶은 업무 용도로는 적합하지 않습니다.
결과를 반환하지 않은 스크레이핑은 과금 대상이 아니지만, 403 또는 404 에러가 반환된 페이지는 1 크레딧을 소모한다는 점에 유의해야 합니다. 또한, JSON 형식으로 추출할 경우 1 페이지당 4 크레딧이 추가됩니다.
Apify는 Actor라고 불리는 클라우드 실행 프로그램이 다수 공개된 마켓플레이스형 플랫폼입니다. 많은 Actor들은 서드파티 개발자에 의해 제작되었으며, 과금 모델이나 사양, 유지보수 상황은 Actor마다 다릅니다. 따라서 AI를 이용한 항목 추출 방식도 일률적이지 않으므로, 이용 전에 각 Actor의 사양을 파악할 필요가 있습니다.
Octoparse는 데스크톱 앱에서 태스크를 생성하는 노코드 스크레이핑 도구입니다. 기한이 없는 Free 플랜이 제공되며, 모든 유료 플랜에는 5일간의 환불 보장이 포함됩니다.
Standard 플랜에서는 IP 로테이션(IP rotation), 레지덴셜 프록시(residential proxy), CAPTCHA 자동 해결, 태스크 스케줄 실행을 이용할 수 있습니다.
Thunderbit은 2클릭 만에 구조화 데이터를 추출하는 AI 웹 스크레이퍼의 Chrome 확장 기능입니다. AI Suggest Fields가 페이지에서 가져와야 할 열을 자동으로 제안하며, 상세 페이지를 순회하여 결과를 통합하는 서브 페이지 기능도 갖추고 있습니다. 출력지는 Google Sheets, Airtable, Notion, CSV, JSON 중 선택 가능하며, 프록시 설정이 필요 없습니다.
방식은 '구축 완료형', '프롬프트형', '코드 직접 작성' 순으로 검토합니다. 판단의 분기는 다음 3가지 지점을 따릅니다.
코드 직접 작성이 필요한 경우는 가져온 결과의 제어를 세밀하게 할 때에 한해서입니다. 이때의 추출 계층에는 Browser API를 이용합니다. Browser API가 필요할 때는 JavaScript 렌더링이 필요한 페이지에서 실제 브라우저 제어가 필요하거나, 클릭/입력을 수반하는 복수 단계의 조작이 필요한 경우로 제한됩니다.
무료 한도는 월 5,000 크레딧이며, 1 크레딧은 1 요청 또는 1 레코드에 해당합니다. Scraper Studio는 페이지 로드당 1 크레딧입니다. 이를 바탕으로 다음과 같이 시뮬레이션할 수 있습니다.
AI를 이용한 추출은 오인식이나 추측에 의한 값 혼입이 발생할 수 있으므로, 본 운영 전에 검증을 진행해야 합니다. 검증은 처음 3건, 중간 4건, 끝 3건 총 10건을 가져와 원 페이지를 열어 육안으로 대조하는 방식으로 진행합니다. 이는 처음만 확인했을 경우 페이지 이동 도중에 발생하는 오류를 놓칠 수 있기 때문입니다.
**표: 10건 샘플 대조 체크표
| 체크 항목 | 확인 내용 | 일본어 페이지에서의 전형적 예시 | 대처 |
|---|---|---|---|
| 포함세/별도세 혼재 | 모든 행에서 가격의 세 구분 통일 여부 | '税込'와 '税抜'이 행마다 혼재됨 | '세 구분' 열을 추가하고, 불명확한 값은 공란으로 처리 |
| ... | |||
| "불명한 값은 추측하지 않고 공란"이라는 지시는 AI가 값을 보완하여 만들어내는 것을 억제하고, 결손된 부분을 공란으로 가시화하는 효과가 있습니다. 공란은 대조표에서 발견할 수 있지만, 추측으로 채워진 값은 원 페이지와 대조하지 않는 한 발견하기 어렵습니다. |
일본어 페이지에서는 다음과 같은 3가지 실패가 발생하기 쉽습니다.
일본어 사이트에서도 AI 스크레이퍼로 취득은 가능하며, HTML의 취득은 언어에 의존하지 않습니다. 한편, 전각 숫자나 세 구분 표기 불일치에서 기인하는 오류는 해석 단계에서 발생하는 점에 유념해야 합니다.
중복/공란율/전각 숫자/가격 자릿수는 다음 스크립트로 기계적으로 확인할 수 있습니다. 링크 연결 지점 도달 및 원 페이지와의 육안 대조는 수작업이 필요합니다.
import pandas as pd
def check_scraped_csv(csv_path):
""스크레이핑 결과의 CSV에 기본적인 품질 체크를 수행하고, 결과를 딕셔너리로 반환한다.""...
재테스트는 다음 시점에 수행합니다.
AI가 내용을 해석하기 전에 HTML이 취득되지 않으면 아무것도 추출되지 않습니다. 블록된 경우에는 403 에러나 CAPTCHA 화면이 반환되므로, 해석 단계를 아무리 강화해도 결과는 개선되지 않습니다. 취득 단계의 문제인지 아닌지를 먼저 구분할 필요가 있습니다.
취득 단계에는 다음 두 가지 부품이 있습니다.
JavaScript로 그려지는 페이지도 취득이 가능합니다. IP 분산에는 프록시가 사용되지만, Web Unlocker API는 이 처리를 내부적으로 포함하므로, 이용자가 프록시 설정을 할 필요가 없습니다.
AI 에이전트나 RAG용으로 웹 데이터를 모을 경우에는, LLM에 전달할 취득 경로를 정비합니다. Bright Data의 MCP Server는 무료로 이용 가능하며, Model Context Protocol(MCP, LLM이 외부 도구에 연결하기 위한 표준 프로토콜)을 통해 Claude・Cursor・Windsurf 등 다른 MCP 클라이언트로부터 웹 검색・페이지 취득・추출을 실행할 수 있습니다. 결과는 Markdown 및 JSON 형식으로 반환됩니다. Claude Code로의 연결 명령어는 다음과 같습니다.
# 1. Claude Code에 Bright Data MCP Server를 등록한다
claude mcp add --transport sse brightdata "https://mcp.brightdata.com/sse?token=YOUR_API_KEY"
RAG로 전달하는 흐름은 다음과 같습니다.
Markdown/JSON이 반환되는 경우, HTML을 자체적으로 파싱하지 않는 이유는 두 가지가 있습니다. 네비게이션이나 광고, 스크립트 등이 혼재하는 HTML은 불필요한 토큰을 LLM에 전송하게 만들기 때문입니다. 또한, 파싱 처리는 레이아웃이 변경될 때마다 수정이 필요하기 때문입니다.
Firecrawl과의 역할 차이점으로는, Firecrawl의 Scrape가 페이지 본문의 Markdown화와 스키마를 지정한 구조화된 JSON 반환에 특화되어 있다는 점을 들 수 있습니다. LLM에게 페이지 단위의 문맥(context)을 전달하는 용도에서는 이러한 특화가 명확한 강점입니다. 한편, 고정된 열을 가진 표 형태로 주기적으로 축적하는 용도에서는 Web Scraper API나 Scraper Studio처럼 레코드 단위로 CSV/JSON을 출력하는 AI 스크레이퍼가 더 적합합니다.
월별 표시와 종량제(pay-as-you-go)는 '1,000 리퀘스트' 또는 '1,000 레코드'에 단위를 맞추어 비교해야 합니다. 월정액형 제품은 '월정액 ÷ 월간 획득 건수 × 1,000'으로 환산합니다. 환산하기 전에, 한 건이 어떤 단위로 과금되는지 확인해야 합니다.
| 제품 | 과금 방식 | 시작 가격/무료 크레딧 |
|---|---|---|
| Bright Data | 리퀘스트 또는 레코드 단위의 종량제 | Web Unlocker $1/1K 리퀘스트~, Scraper APIs $0.75/1K 레코드~, Scraper Studio $1/1K 리퀘스트~. 무료 크레딧은 월 5,000 크레딧 |
| ... | ||
| Bright Data의 무료 크레딧은 월 5,000 크레딧(약 $7.50 상당)이며 매월 1일에 업데이트됩니다. 크레딧은 다음 달로 이월되지 않으며, 상한선에 도달하면 자동으로 중단되므로 예상치 못한 초과 과금은 발생하지 않습니다. |
'무료'라고 표시되어 있어도 그 내용은 다릅니다. 아래의 5가지 유형을 구별하는 것이 중요합니다.
AI 스크레이퍼는 무료로도 이용 가능하지만, 어떤 종류의 '무료'인지에 따라 지속적으로 사용할 수 있는지 여부가 결정됩니다. 일회성 검증이라면 최초 한정이나 기간 한정으로 충분하며, 주기적인 실행을 전제로 한다면 매월 크레딧 또는 기한 없음 플랜 중에서 선택해야 합니다.