사전 학습 데이터를 오염시키는 것은 대규모 언어 모델(LM)에 탐지하고 완화하기 어려운 유해한 행동을 도입할 수 있습니다. 사전 학습 데이터 오염에 대한 이전 연구들은 주로 위키피디아와 같이 확립된 데이터 소스를 악용하는 데 그쳤는데, 이는 전형적인 사전 학습 코퍼스에서 요구되는 대규모성과 이질성을 대표하지 못하며, 오염된 데이터와 데이터 큐레이션 파이프라인 간의 상호작용을 무시했습니다. 우리는 기존 웹 규모 콘텐츠 주입 메커니즘인 공개 토론 인터페이스를 통해 이러한 제한적인 설정을 넘어 사전 학습 데이터에 대한 오염 공격이 가능하다는 것을 입증합니다. 또한, 악성 콘텐츠가 웹 크롤링 및 데이터 큐레이션 후에 포함되는지 측정하기 위해, 우리는 웹 크롤 기반 LM 훈련 데이터에서 적대적 콘텐츠 포함을 추정하는 새로운 분석 도구인 HalfLife를 소개합니다. 우리는 HalfLife를 사용하여 공개 토론 인터페이스를 통해 웹 규모로 사전 학습 코퍼스를 오염시키는 실현 가능성을 탐색했습니다. 우리의 분석은 오염 주입이 사전 학습 데이터에 포함되는지 여부를 추정하는 것의 중요성을 보여주며, 제3자 웹페이지 콘텐츠가 언어 모델 사전 학습을 공격할 수 있는 가능한 벡터임을 확립합니다.