압축은 지능에 필수적입니다. 자신의 훈련 데이터를 짧은 코드로 표현할 수 있는 모델은 일반화가 가능한 규칙성을 발견한 것입니다. 대규모 신경망은 매개변수 수보다 훨씬 단순한 함수를 학습할 수 있지만, 이러한 단순성을 실현하는 코드를 구성하기는 어렵습니다. 양자화(quantization)와 같은 매개변수 기반 방법은 모델 크기에 비례하여 코드 길이를 생성하며, 매개변수가 얼마나 많은 정보를 저장하든 상관없이 작동합니다. 사전 순차적 코딩(Prequential coding)은 훈련 궤적을 압축함으로써 이 문제를 우회하지만, 데이터가 아무리 많은 엔트로피를 가지더라도 정확한 데이터 시퀀스를 코딩하기 때문에 큰 코드 길이를 초래합니다. 우리는 requential coding을 도입하는데, 여기서 교사 모델(teacher model)이 학생의 자체 분포에서 추출된 훈련 샘플을 선택합니다. 학생의 코드는 이러한 선택만을 기록하며, 이는 교사와 학생이 의견이 다를 때만 비트 비용이 발생합니다. 그 결과로 얻어지는 코드 길이는 매개변수 수와 데이터 엔트로피에 독립적이며, 종종 사전 순차적 대응물보다 몇 배나 짧고, 이 장점은 규모가 커질수록 증가합니다. 이러한 압축은 이전의 압축기들이 접근할 수 없었던 현상들에 빛을 비춥니다. 손실(loss)을 고정했을 때, 더 큰 모델과 앙상블(ensembles)은 매개변수가 더 많음에도 불구하고 훨씬 작은 크기로 압축됩니다. PAC-Bayes 경계에 적용된 requential 코드는 수십억 개의 매개변수를 가진 LLM에 대해 최첨단 일반화 보장(state-of-the-art generalization guarantees)을 제공하며, 심지어 0의 오차를 가정하더라도 공격적인 사후 훈련 양자화(post-training quantization) 기반 경계보다 우수합니다. 이 경계는 모델이 데이터셋 크기에 비해 점점 더 압축 가능해지는 컴퓨팅 최적(compute-optimal) 영역에서 규모와 함께 타이트해집니다. 동일한 코드는 여러 에포크 동안 훈련될 때 모델이 점진적으로 과적합된다고 예측합니다. 또한 이 코드는 데이터셋 내의 학습 가능한 정보와 그 예측 불가능하고 무작위적인 콘텐츠를 분리하여, 낮은 엔트로피의 텍스트가 높은 엔트로피의 이미지 데이터보다 훨씬 더 많은 학습 가능한 구조를 가지고 있음을 밝혀냅니다.