최적의 표현 크기: 사전 학습(Pretraining) 및 선형 프로빙(Linear Probing)에 대한 고차원 분석

제한된 데이터로부터 일반화(Generalise)하는 법을 배우는 것은 인공 및 생물학적 시스템 모두에게 근본적인 과제입니다. 일반적인 전략은 풍부한 레이블이 없는 데이터(Unlabelled data)로부터 재사용 가능한 구조를 추출하여, 제한된 레이블 데이터(Labelled data)로부터 새로운 작업에 효율적으로 적응할 수 있도록 하는 것입니다. 이러한 2단계 패러다임은 사전 학습(Pretraining) 후에 미세 조정(Fine-tuning) 또는 선형 프로빙(Linear probing)이 이어지는 현대적 훈련 파이프라인의 표준이 되었습니다. 본 연구에서는 이 과정에 대한 분석 모델을 제공합니다. 구조 추출은 레이블이 없는 데이터에 대한 주성분 분석(Principal Component Analysis, PCA)으로 공식화되며, 다운스트림 학습(Downstream learning)은 별도의 레이블 데이터셋에 대한 선형 회귀(Linear regression)로 공식화됩니다. 고차원 영역(High-dimensional regime)에서, 우리는 훈련 오차(Training error)와 일반화 오차(Generalisation error)에 대한 정확한 식을 도출하여, 이들이 표현 차원(Representation dimensionality), 레이블 없는 샘플 및 레이블 있는 샘플의 크기, 그리고 작업 정렬(Task alignment)에 어떻게 의존하는지 보여줍니다. 우리의 결과는 사전 학습된 표현(Pretrained representations)이 다운스트림 일반화에 강력한 영향을 미친다는 것을 보여주며, 작업 매개변수의 함수로서 최적의 표현 크기를 규정합니다. 즉, 사전 학습 데이터는 풍부하지만 다운스트림 데이터가 부족한 경우에는 최대한 압축된 표현이 최적이며, 반대로 사전 학습 데이터가 제한적인 경우에는 더 높은 차원의 표현이 더 잘 일반화됩니다. 나아가, 우리는 사전 학습과 지도 학습(Supervision) 사이의 정확한 트레이드오프(Trade-off)를 확립하여, 단일 레이블 샘플을 대체하기 위해 얼마나 많은 레이블 없는 데이터가 필요한지 정량화합니다. 이상적인 모델을 넘어, 우리는 오토인코더(Autoencoders)와 사전 학습된 LLM(Large Language Models)에서도 유사한 현상을 관찰합니다. 종합적으로, 우리는 표현 크기를 최적화하는 것이 매우 중요하다는 점을 강조하며, 사전 학습 중 압축이 일반화를 향상시키는 조건들을 제시합니다.