학습 역학을 통해 밝혀진 가중치 유도 계층적 레이어별 Gram 지표

우리는 고정된 판독(readout)과 이차 손실(quadratic loss)을 가진 피드포워드 ReLU 네트워크(feed-forward ReLU networks)를 연구합니다. 본 연구의 목적은 경사 하강법(gradient descent)을 단순히 가중치 공간(weight space)에서의 역학이 아니라, 훈련 세트 공간(training-set space)에 정의된 필드(fields)의 관점에서 닫힌 집합적인 역학(collective dynamics)으로 재기술하는 것입니다. 단일 은닉층(single hidden layer)의 경우, 활성화 역학(activation dynamics)에서 가중치 변수를 제거할 수 있으며, 이를 통해 입력 기하학적 행렬(input-geometric matrix)과 역학적 공동 활성화 행렬(dynamical co-activation matrix)로 인수분해되는 집합적 커널(collective kernel)에 의해 제어되는 잔차(residuals)에 대한 폐쇄 방정식(closed equation)을 얻을 수 있습니다. 더 깊은 네트워크의 경우, 잔차 역학(residual dynamics)은 깔끔한 레이어별 커널 구조(layer-wise kernel structure)를 유지합니다. 그러나 깊이 3부터는 폐쇄(closure)를 위해 레이어 간의 정보 전달을 매개하는 가중치 유도 Gram 연산자(weight-induced Gram operators)의 계층 구조가 필요합니다.