Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 논문은 대규모 언어 모델(LM)의 사전 학습 데이터가 계산적 선전을 통해 오염될 수 있음을 입증했습니다. 기존 연구들이 제한적인 데이터 소스에 머물렀던 것과 달리, 공개 토론 인터페이스를 활용하여 웹 규모로 오염 공격이 가능함을 보여주었습니다. 또한, 적대적 콘텐츠 포함을 추정하는 새로운 분석 도구 HalfLife를 소개하고 그 중요성을 강조합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기사전 학습 데이터를 오염시키는 것은 대규모 언어 모델(LM)에 탐지하고 완화하기 어려운 유해한 행동을 도입할 수 있습니다. 사전 학습 데이터 오염에 대한 이전 연구들은 주로 위키피디아와 같이 확립된 데이터 소스를 악용하는 데 그쳤는데, 이는 전형적인 사전 학습 코퍼스에서 요구되는 대규모성과 이질성을 대표하지 못하며, 오염된 데이터와 데이터 큐레이션 파이프라인 간의 상호작용을 무시했습니다. 우리는 기존 웹 규모 콘텐츠 주입 메커니즘인 공개 토론 인터페이스를 통해 이러한 제한적인 설정을 넘어 사전 학습 데이터에 대한 오염 공격이 가능하다는 것을 입증합니다. 또한, 악성 콘텐츠가 웹 크롤링 및 데이터 큐레이션 후에 포함되는지 측정하기 위해, 우리는 웹 크롤 기반 LM 훈련 데이터에서 적대적 콘텐츠 포함을 추정하는 새로운 분석 도구인 HalfLife를 소개합니다. 우리는 HalfLife를 사용하여 공개 토론 인터페이스를 통해 웹 규모로 사전 학습 코퍼스를 오염시키는 실현 가능성을 탐색했습니다. 우리의 분석은 오염 주입이 사전 학습 데이터에 포함되는지 여부를 추정하는 것의 중요성을 보여주며, 제3자 웹페이지 콘텐츠가 언어 모델 사전 학습을 공격할 수 있는 가능한 벡터임을 확립합니다.