랜덤 행렬 이론을 활용한 장기 지평(long-horizon) grokking 중 신경망 과적합 감지

신경망(NNs)을 과적합 없이 훈련하는 것은 어렵고, 과적합이 발생했는지 감지하는 것 또한 어렵습니다. 우리는 학습 데이터나 테스트 데이터에 접근할 필요 없이 심층 학습 모델에서 과적합의 시작점을 감지하는 새로운 랜덤 행렬 이론(Random Matrix Theory) 방법을 제시합니다. 각 모델 레이어에 대해, 우리는 각 가중치 행렬 요소를 개별적으로 무작위화하여 $\mathbf{W} \to \mathbf{W}_{\mathrm{rand}}$로 만들고, 이 무작위화된 경험적 스펙트럼 분포(empirical spectral distribution)를 Marchenko-Pastur 분포에 맞춥니다. 그리고 자기 평균화(self-averaging)를 위반하는 큰 아웃라이어들을 식별합니다. 우리는 이러한 아웃라이어를 Correlation Traps라고 부릅니다. 장기 지평 grokking의 시작점, 즉 우리가 'anti-grokking' 단계라고 부르는 동안, Correlation Traps가 형성되고 그 수가 커지며 크기가 증가하는데, 이는 테스트 정확도가 감소하는 동안 훈련 정확도는 높은 상태를 유지할 때 발생합니다. 이러한 트랩은 무해할 수도 있고 일반화에 해로울 수도 있습니다. 우리는 임의 데이터를 훈련된 모델을 통과시키고 출력 로짓(output logits)의 JS 발산(JS divergence)을 평가함으로써 이 둘을 구별하는 경험적 접근 방식을 제공합니다. 우리의 연구 결과는 anti-grokking이 높은 훈련 정확도와 감소하는 테스트 정확도를 특징으로 하는, pre-grokking과는 구조적으로 구별되는 추가적인 grokking 단계임을 보여줍니다. 더 넓은 관점에서, 우리는 일부 파운데이션 규모의 LLMs가 동일한 Correlation Traps를 나타내며, 이는 잠재적으로 해로운 과적합을 시사합니다.