AI 토큰의 가치는 얼마인가? 야생 AI 생성 웹 텍스트에 대한 스케일링 법칙

웹 텍스트는 사전 학습 데이터의 대부분을 차지하며, 그 비중이 증가함에 따라 AI가 생성하는 텍스트가 늘어나고 있습니다. FineWeb 품질 필터링을 적용한 결과, 2026년 6월 웹 데이터 토큰 중 Pangram에 의해 AI 생성으로 분류된 비율은 27.5%였으며, 8월에는 31.1%까지 상승했습니다. 합성 데이터나 모델 붕괴(model-collapse) 설정과 달리, 이 야생 AI 텍스트는 여러 모델에서 나오며, 인간 독자를 위해 작성되었고, 사전 학습 코퍼스에 레이블 없이 포함됩니다. 야생 상태의 AI 텍스트가 언어 모델 사전 학습에 어떤 영향을 미칠까요? 이 질문에 답하기 위해, 우리는 추가된 AI 토큰 비율을 변화시키면서 800개의 언어 모델을 사전 학습시켰고, 인간 생성 텍스트와 AI 생성 텍스트 모두에 대한 보류 손실(held-out losses)에 스케일링 법칙을 적용했습니다. 데이터가 부족한 모델의 경우, 사전 학습 데이터에 AI 토큰을 추가하면 처음에는 인간 텍스트에 대한 손실이 낮아지지만, 더 많이 추가됨에 따라 그 이점이 포화되고 빠르게 해로움으로 역전됩니다. 많은 양의 인간 텍스트로 훈련된 모델의 경우, AI 토큰은 거의 즉시 손실을 증가시키는 반면, 동일한 수의 새로운 인간 토큰은 계속해서 이를 낮게 유지합니다. Hoffman et al. (2022)와 같은 스케일링 법칙으로는 이러한 행동을 예측할 수 없습니다. 우리는 AI 텍스트가 없을 때는 Chinchilla로 감소하면서도 AI 토큰의 가치가 부호(sign)를 바꿀 수 있는 별도의 이점 및 해로움 항(benefit and harm terms)을 가진 새로운 스케일링 법칙을 제안합니다. 더 작은 모델에 적용했을 때, 우리의 스케일링 법칙은 모든 AI 비율에 걸쳐 기존 최고 법칙보다 오류율이 41% 낮은 수준으로 최대 3.6배 큰 모델의 보류 인간 텍스트 손실에 대한 AI 텍스트의 영향을 예측했습니다. 우리는 목표가 인간 텍스트인 경우 AI 텍스트를 필터링하고, 학습 데이터셋을 확장하기 전에 인간 텍스트를 반복하며, 검증 손실을 인간 텍스트와 AI 텍스트로 분리하여 보고할 것을 권장합니다. AI 텍스트는 목표가 AI 텍스트일 때 여전히 가치가 있습니다. 우리는 AI, 토픽, 형식 레이블이 포함된 83B 토큰 코퍼스인 WildAI와 800개 모델 및 코드를 https://github.com/pangramlabs/WildAI에서 공개합니다.