학습의 두 가지 속도: Grokking과 Double Descent의 표현-판독 분해 (Representation-Readout

훈련 손실 (Training loss)과 정확도 (Accuracy)는 심층 신경망 (Deep neural network) 훈련 중 일반화 (Generalization)를 모니터링하는 데 사용되는 표준 신호입니다. 잘 알려진 두 가지 현상이 이 양상을 복잡하게 만듭니다. Grokking (그로킹)의 경우, 훈련 손실은 빠르게 떨어지지만 테스트 성능은 긴 지연 후에 갑작스럽게 향상됩니다. 에포크 단위의 Double Descent (이중 하강)의 경우, 훈련 손실은 단조롭게 감소하는 반면 테스트 손실 또는 오차는 상승했다가 하락합니다. 기존의 설명들은 종종 특정 작업에 국한되어 있으며, 현실적인 작업과 아키텍처 전반에 걸쳐 이러한 현상을 진단하고 설명할 수 있는 작업 불가지론적 (Task-agnostic) 분석 프레임워크가 부족한 실정입니다.

우리는 학습 역학 (Learning dynamics)의 근저에 있는 두 가지 경쟁하는 프로세스, 즉 인코더 (Encoder)에서의 표현 학습 (Representation learning)과 최종 분류기 (Final classifier)에서의 판독 교정 (Readout calibration)을 분석함으로써 이 과제를 해결합니다. 표현 기하학 (Representational geometry), 신경 탄젠트 커널 (Neural tangent kernels), 그리고 선형 프로빙 (Linear probing) 도구를 사용하여, 우리는 두 프로세스 모두 훈련 전반에 걸쳐 활성화되어 있으며, 이들의 상대적 속도 변화가 겉보기에 이례적인 일반화 역학을 일으킨다는 것을 보여줍니다.

광범위한 작업과 아키텍처에 걸쳐 Grokking에 표현-판독 분해를 적용한 결과, 우리는 Grokking이 시작되기 전에는 판독 (Readout)이 훈련 편향 (Train-biased)되어 있으며, 표현 학습은 점진적이지만 'Lazy-to-rich' 설명과는 반대로 완전히 부재하는 것은 아니라는 점을 발견했습니다. 또한 이 프레임워크는 가짜 일반화 (Spurious generalization)와 진정한 일반화 (Genuine generalization)를 구분하는 진단적 특징을 제공합니다. 이전에 보고된 MNIST Grokking 사례와 에포크 단위의 Double Descent 사례에서, 겉으로 보이는 지연된 또는 비단조적 일반화는 비표준적인 훈련 레시피 (Training recipes)에 의해 유도된 표현 저하 (Representation degradation)와 판독 불일치 (Readout misalignment)에서 비롯됨을 보여줍니다. 종합적으로, 이러한 결과들은 표현-판독 분해를 학습 역학을 이해하고 해석 가능성 (Interpretability) 연구를 위한 근저 알고리즘을 밝혀내는 하향식 (Top-down) 프레임워크로 확립합니다.