InfoLaw: 질량 가중치 혼합 데이터와 반복을 통한 대형 언어 모델의 정보 확장 법칙

요약

InfoLaw는 대규모 언어 모델(LLM)의 훈련 과정에서 정보 확장 법칙을 다루는 새로운 프레임워크입니다. 이 방법은 소비된 토큰 수, 모델 크기, 데이터 혼합 가중치, 그리고 반복 횟수까지 고려하여 LLM의 성능을 예측합니다. 기존 방식이 혼합 레시피나 반복에 대한 외부 추정을 제공하지 못했던 한계를 극복하고, 다양한 컴퓨팅 예산 하에서 최적의 데이터 조합과 규모를 결정할 수 있게 합니다.

핵심 포인트

• InfoLaw는 LLM 성능을 예측하기 위해 토큰 소비량, 모델 크기, 데이터 혼합 가중치, 반복 횟수를 통합적으로 고려하는 정보 인식 확장 프레임워크입니다.
• 전통적인 확장 법칙은 복잡한 데이터 레시피(혼합 비율 및 반복)에 대한 신뢰할 수 있는 외부 추정을 제공하지 못했습니다. InfoLaw는 이 문제를 해결합니다.
• InfoLaw를 통해 최대 7B, 425B 토큰 규모까지의 성능 예측이 가능하며, 낮은 오차율로 다양한 컴퓨팅 예산에서의 효율적인 데이터 레시피 선택을 지원합니다.
• 훈련 과정에서 정보 밀도 제어와 반복에 따른 규모 의존적 감소 효과를 모델링하여 LLM 훈련 최적화를 목표로 합니다.