InfoLaw: 질량 가중치 혼합 데이터와 반복을 통한 대형 언어 모델의 정보 확장 법칙

LLM 전训练中 고품질 데이터를 강조하는 것은 성능 향상을 가져오지만, 데이터 제한 환경 특히 과훈련 (overtraining) 하에서는 더 강한 강조가 반복을 증가시키고 성능을 저하시킬 수 있습니다. 그러나 표준 확장 법칙은 혼합 레시피나 반복에 대해 신뢰할 수 있는 외부추정을 하지 못하여 확장 조건에서 최적의 데이터 레시피 선택이 결정되지 않습니다. 이를 해결하기 위해 우리는 InfoLaw (Information Scaling Laws) 를 소개합니다. 이는 소비된 토큰, 모델 크기, 데이터 혼합 가중치, 반복을 예측하는 데이터 인식 확장 프레임워크입니다. 핵심 아이디어는 전训练中 정보 축적 모델을 구축하는 것이며, 품질은 정보 밀도를 제어하고 반복은 규모 의존적 감소 효과를 유발합니다. 우리는 먼저 규모, 품질 분포, 반복 수준이 다른 데이터셋에 훈련 후 모델 성능을 수집합니다. 그 다음 정보 모델링을 구축하여 정보가 해당 모델 성능을 정확하게 예측하도록 합니다. InfoLaw 는 새로운 데이터 레시피와 더 큰 규모의 실행 (최대 7B, 425B 토큰) 에 대한 성능을 예측하며 손실의 평균 절대 오차는 0.15%, 최대 절대 오차는 0.96%이며 과훈련 수준에 걸쳐 신뢰할 수 있는 외부추정을 가능하게 하여 다양한 컴퓨트 예산 하에서 효율적인 데이터 레시피 선택을 가능하게 합니다.