웹 스크래핑은 겉으로 보기에는 저렴해 보입니다.

크롤러가 페이지를 수집합니다.
데이터셋이 커집니다.
모델은 더 많은 예시를 얻습니다.
제품팀은 학습, 테스트, 분류, 요약 또는 평가에 사용할 자료를 더 많이 확보합니다.

하지만 스크래핑된 데이터에 개인 정보가 포함되어 있다면, 비용은 인프라 비용만으로 끝나지 않습니다.

개인정보 보호 비용이 발생합니다.

문서화 비용이 발생합니다.

정리(cleanup) 비용이 발생합니다.

검토 비용이 발생합니다.

이는 유럽 데이터 보호 위원회(EDPB)가 생성형 AI와 관련하여 웹 스크래핑에 대해 2026년 7월 초안 지침에서 제시한 유용한 시사점입니다.

European Data Protection Board는 개인 정보 처리가 포함되는 경우, 즉 수집, 저장, 조직화 및 검색을 포함하는 경우 GDPR이 웹 스크래핑에 적용된다고 말합니다. 또한 위원회는 법적 근거(legal basis), 목적 제한(purpose limitation), 투명성(transparency), 정확성(accuracy), 데이터 최소화(data minimisation) 및 특별 범주 데이터(special-category data)와 관련된 질문들을 팀들에게 제시하고 있습니다.

소프트웨어팀에게 주는 실질적인 교훈은 간단합니다:

공개적으로 보이는 데이터라고 해서 자동으로 사용 가능한 것은 아니다.

AI 팀에게 이것이 중요한 이유

많은 AI 작업은 이용 가능하다는 것처럼 보이는 데이터에 의존합니다.

제품 리뷰. 공개 프로필. 포럼 게시물. 도움말 페이지. 구인 목록. 마켓플레이스 항목. 문서화 페이지. 소셜 콘텐츠. 웹사이트 텍스트. 지원 예시. 공개 코드 댓글. 지식 기반 콘텐츠.

이러한 데이터 중 일부는 수집하고 사용하는 것이 무해할 수 있습니다.

일부는 개인 정보를 포함할 수 있습니다.

일부는 민감한 개인 정보를 포함할 수 있습니다.

일부는 부정확하거나, 오래되었거나, 복사된 정보를 포함할 수 있습니다.

일부는 공개적으로 보이지만 팀이 염두에 둔 AI 목적에는 여전히 적절하지 않을 수 있습니다.

여기서 경제성이 달라집니다.

팀은 '무료 학습 자료'를 수집하고 있다고 생각할 수 있습니다. 하지만 그 수집 과정이 개인정보 보호 검토, 필터링, 삭제, 투명성, 정확성 및 거버넌스 작업 등을 생성한다면, 그 데이터셋은 공짜가 아닙니다.

운영 비용이 발생합니다.

무엇이 바뀌었는가

2026년 7월 8일, 유럽 데이터 보호 이사회(EDPB)는 생성형 AI (Generative AI) 맥락에서의 웹 스크래핑 (Web Scraping)에 관한 가이드라인 초안과 익명화 (Anonymisation)에 관한 가이드라인을 발표했습니다. 웹 스크래핑 가이드라인은 2026년 10월 30일까지 대중의 피드백을 받습니다.

EDPB는 웹 스크래핑을 사람들이 인지하지 못한 채 발생하는 대규모 자동화 데이터 추출로 설명하며, 이것이 개인정보 보호에 위험을 초래할 수 있다고 명시합니다.

또한 스크래핑에 개인정보 처리 작업이 포함될 경우 일반 데이터 보호 규정 (GDPR)이 적용된다는 점을 명확히 합니다.

이는 AI 팀이 개인정보를 스크래핑, 저장, 정제 및 검색하는 행위를 중립적인 기술적 단계로 취급할 수 없기 때문에 중요합니다.

이는 데이터 처리 (Data Processing)가 됩니다.

그리고 데이터 처리에는 법적 근거와 문서화된 근거가 필요합니다.

스크래핑된 데이터에 숨겨진 비용

명백한 비용은 크롤링 (Crawling), 저장 및 처리 비용입니다.

덜 명백한 비용은 데이터셋 (Dataset) 자체에 존재합니다.

팀은 다음과 같은 질문에 답해야 할 수도 있습니다:

• 이 데이터는 왜 수집되었는가?
• 사용을 뒷받침하는 법적 근거는 무엇인가?
• 어떤 출처가 사용되었는가?
• 언제 수집되었는가?
• 개인정보가 포함되었는가?
• 특별 범주 데이터 (Special-category data)가 포함되었는가?
• 부정확한 데이터가 제거되었는가?
• 데이터 최소화 (Data minimisation)가 이루어졌는가?
• 나중에 데이터를 삭제하거나 제외할 수 있는가?
• 팀이 목적을 설명할 수 있는가?

이러한 질문에는 시간이 소요됩니다.

팀이 이 질문들에 뒤늦게 답하게 된다면, 비용은 더 높아집니다.

그렇기 때문에 데이터 프로세스를 설계하기 가장 좋은 시점은 수집이 시작되기 전입니다.

7가지 스크래핑 준비 상태 검토 (7-check scraping readiness review)

1. 수집 전 목적 설정

“일단 모두 수집하고 나중에 결정하자”라는 식으로 시작하지 마십시오.

작업(Task)부터 시작하십시오.

해당 데이터가 모델 학습 (Model training), 평가 (Evaluation), 검색 (Retrieval), 분류 (Classification), 중재 (Moderation), 품질 테스트 (Quality testing), 벤치마킹 (Benchmarking) 또는 제품 분석 (Product analytics)을 위해 필요한가요?

각 목적에 따라 서로 다른 수준의 검토가 필요할 수 있습니다.

목적이 모호하면 데이터셋은 제품의 필요 범위를 넘어 계속 커질 것입니다.

체크 사항:
팀이 스크래핑된 데이터가 지원하는 구체적인 AI 작업을 설명할 수 있는가?

2. 출처의 신뢰성

EDPB(유럽 개인정보 보호 이사회)는 신뢰할 수 있는 출처에서만 스크래핑할 것, 타임스탬프(timestamp)를 기록할 것, 그리고 AI 학습에 사용하기 전에 데이터를 검증할 것을 권고합니다.

이는 중요한 실무적 포인트입니다.

신뢰할 수 없는 데이터로 학습되거나 평가된 모델은 더 나은 결과가 아닌, 더 나쁜 결과물을 생성할 수 있습니다.

팀은 다음 사항을 기록해야 합니다:

• 출처 URL (source URL),
• 수집 날짜 (collection date),
• 수집 방법 (collection method),
• 출처 유형 (source type),
• 업데이트 빈도 (update frequency),
• 알려진 품질 문제 (known quality issues),
• 그리고 데이터에 개인정보가 포함될 가능성이 있는지 여부.

체크 사항:
데이터가 어디에서 왔으며 언제 수집되었는지 알고 있는가?

3. 개인정보 필터 (Personal-data filter)

공개된 텍스트에도 여전히 개인정보가 포함될 수 있습니다.

여기에는 이름, 이메일, 사용자 이름, 경력, 사진, 위치 참조, 연락처 정보, 댓글, 불만 사항, 계정 식별자, 또는 직접적 혹은 간접적으로 개인을 식별할 수 있는 모든 것이 포함될 수 있습니다.

팀은 데이터가 학습, 평가 또는 인덱싱(indexing) 워크플로우에 진입하기 전에 필터링을 수행해야 합니다.

여기에는 다음이 포함될 수 있습니다:

• 명백한 식별자 제거,
• 연락처 정보 탐지,
• 프로필 페이지 제외,
• 비공개 또는 준비공개(semi-private) 맥락 제외,
• 불필요한 필드 축소,
• 그리고 명시된 목적에 필요한 것만 유지.

체크 사항:
어떤 개인정보가 데이터셋에 유입될 수 있으며, 사용 전에 이를 줄일 수 있는가?

4. 특수 범주 위험 (Special-category risk)

EDPB는 GDPR 제6조의 적법한 근거와 제9조 제2항의 예외 사항이 모두 적용되지 않는 한, 특수 범주의 개인정보를 처리하는 것은 일반적으로 금지된다는 점을 팀에 상기시킵니다.

이는 스크래핑된 데이터에 건강, 정치적 견해, 종교, 노동조합 가입 여부, 생체 인식 데이터, 성적 지향 또는 기타 민감한 범주가 실수로 포함될 수 있기 때문에 중요합니다.

팀이 이를 수집할 의도가 없었더라도, 대규모 스크래핑에서는 여전히 위험이 나타날 수 있습니다.

체크 사항:
실수로라도 데이터셋에 민감한 개인정보가 포함될 수 있는가?

5. 투명성 계획 (Transparency plan)

EDPB(유럽 개인정보 보호 이사회)는 투명성 (Transparency)에 특별한 주의를 기울여야 한다고 말합니다. 또한 처리 방식의 설계에 따라, 불가능하거나 과도한 노력이 필요한 경우에는 개인정보 고지 (Personal notice)가 항상 요구되지는 않을 수 있다고 언급합니다.

이는 팀이 여전히 투명성 입장 (Transparency position)을 가져야 함을 의미합니다.

제품 팀의 경우, 여기에는 다음 사항들이 포함될 수 있습니다:

• 개인정보 처리방침 (Privacy notice) 업데이트,
• 데이터셋 설명 (Dataset descriptions),
• 출처 카테고리 (Source categories),
• 해당되는 경우 거부 (Opt-out) 또는 이의 제기 (Objection) 채널,
• 내부 문서화 (Internal documentation),
• 그리고 지원 가능한 수준의 설명 문구 (Support-ready language).

투명성은 단순히 법적 페이지를 두는 것만이 아닙니다.

그것은 제품이 데이터를 가지고 무엇을 하고 있는지 설명할 수 있는 능력입니다.

체크 사항:
모호한 언어 뒤에 숨지 않고 데이터 출처와 목적을 설명할 수 있는가?

6. 데이터 최소화 (Data minimisation)

대규모 데이터셋이 자동으로 더 나은 데이터셋인 것은 아닙니다.

작업에 짧은 예시만 필요하다면, 전체 페이지를 저장하지 마세요.

모델에 공개 문서만 필요하다면, 댓글을 수집하지 마세요.

평가에 카테고리만 필요하다면, 식별자 (Identifiers)를 유지하지 마세요.

데이터 최소화 (Data minimisation)란 목적에 필요한 것만 수집하고 보유하는 것을 의미합니다.

이를 통해 개인정보 보호 위험, 저장 비용, 검토 부담 및 향후 정리 작업을 줄일 수 있습니다.

체크 사항:
우리는 데이터가 필요해서 보유하고 있는가, 아니면 수집하기 쉬워서 보유하고 있는가?

7. 삭제 및 제외 경로 (Removal and exclusion path)

AI 데이터셋은 변화할 수 있는 방법이 필요합니다.

출처가 신뢰할 수 없게 될 수 있습니다. 개인이 이의를 제기할 수 있습니다. 사이트가 정책을 업데이트할 수 있습니다. 팀이 민감한 데이터를 발견할 수 있습니다. 제품의 목적이 변경될 수 있습니다.

팀은 향후 사용에서 데이터를 제거하거나 제외할 수 있어야 합니다.

그것이 모든 시스템이 모델 내의 과거 모든 영향력을 완벽하게 잊을 수 있다는 뜻은 아닙니다. 하지만 팀은 여전히 실질적인 통제 수단을 설계해야 합니다:

• 데이터셋 버전 관리 (Dataset versioning),
• 출처 제외 목록 (Source exclusion lists),
• 삭제 워크플로 (Deletion workflows),
• 재학습 (Retraining) 또는 재색인 (Re-indexing) 규칙,
• 감사 로그 (Audit logs),
• 그리고 데이터 삭제 결정에 대한 명확한 책임 (Ownership).

체크 사항:
이 출처가 부적절해질 경우, 활성 데이터 워크플로 (Active data workflow)에서 이를 제거할 수 있는가?

간단한 의사결정 모델

AI 워크플로 (workflow)를 위해 데이터를 스크래핑하기 전에, 데이터를 다음 네 가지 범주 중 하나로 분류하십시오.

기본 기록과 함께 사용하기에 안전한 데이터

개인 정보가 포함되지 않고, 신뢰할 수 있으며, AI 작업과 직접적으로 연결된 데이터입니다.

예시: 검색 (retrieval)을 위해 사용되는 공개 기술 문서.

필터링 후에만 사용 가능한 데이터

개인 세부 정보가 포함될 수 있지만, 안전하게 줄일 수 있는 데이터입니다.

예시: 식별자 (identifiers) 및 무관한 필드를 제거한 포럼 텍스트.

더 강력한 검토가 필요한 데이터

민감한 문맥, 사용자 생성 콘텐츠 (user-generated content), 프로필 또는 혼합된 개인 데이터가 포함될 수 있는 데이터입니다.

예시: 공개 소셜 게시물, 고객 지원 토론, 커뮤니티 프로필.

이 목적으로 사용 금지

너무 민감하거나, 신뢰할 수 없거나, 관련이 없거나, 거버넌스 (governance)가 불가능한 데이터입니다.

예시: 관련 없는 AI 학습을 위해 스크래핑한 개인 프로필.

목표는 유용한 AI 작업을 차단하는 것이 아닙니다.

목표는 모든 공개 페이지를 동일하게 사용 가능한 것으로 취급하는 것을 멈추는 것입니다.

창업자의 시사점 (Founder takeaway)

스크래핑은 초기에 AI 작업을 더 빠르게 느껴지게 할 수 있습니다.

하지만 나중에 숨겨진 작업을 만들어낼 수도 있습니다.

중요한 질문은 단지 이것만이 아닙니다:

우리가 이 데이터를 수집할 수 있는가?

다음과 같은 질문도 포함됩니다:

우리가 이 데이터를 정당화하고, 최소화하며, 검증하고, 설명할 수 있는가? 그리고 필요할 때 제거할 수 있는가?

바로 이 지점에서 AI 데이터의 비용이 가시화됩니다.

거버넌스 (governed)가 이루어진 작은 데이터셋이, 아무도 설명할 수 없는 거대한 데이터셋보다 훨씬 더 유용할 때가 많습니다.

출처

• EDPB: EDPB sheds light on anonymisation and web scraping for generative AI
• EDPB: Guidelines 03/2026 on web scraping in the context of generative AI