자기지도 국소 학습 규칙이 고차원 데이터의 숨겨진 계층적 구조를 학습하는 방법

뇌는 고차원 감각 입력의 추상적 표현을 학습하지만, 이러한 학습을 가능하게 하는 가소성 규칙(plasticity rules)은 알려져 있지 않습니다. 우리는 심층 신경망(deep neural networks)이 고차원 데이터의 고유한 계층적 구조를 어떻게 학습하는지 조사하기 위해 설계된 인공 데이터셋인 Random Hierarchy Model (RHM) 상에서 생물학적으로 타당한(biologically plausible) 알고리즘을 연구합니다. 우리는 긴 수렴 시간과 대칭 오차 네트워크(symmetric error network)의 사용을 모두 피하는 두 가지 유형의 국소 학습 규칙(local learning rules)에 집중합니다. 첫 번째 유형은 출력층(output layer)으로부터의 오차 전파(error propagation)를 근사하기 위해 직접적인 피드백 신호를 사용합니다. 두 번째 유형은 출력층에서의 오차를 명시적으로 근사하지 않는 층별(layerwise) 자기지도 대조(self-supervised contrastive) 또는 비대조(non-contrastive) 손실 함수를 사용합니다. 우리는 첫 번째 유형의 모든 규칙이 RHM의 과제를 해결하는 데 실패함을 보여주며, 이러한 실패의 원인이 전체 역전파(full backpropagation)에서 구현되어 복잡한 과제 학습에 필수적인 입력 특이적 비선형성('masking')에 있음을 밝혀냅니다. 그러나 두 번째 유형의 알고리즘은 RHM 과제의 계층적 숨겨진 구조를 학습할 수 있으며, 지도 역전파(supervised backpropagation) 학습만큼 데이터 효율적(data-efficient)인 동시에 피질(cortex)의 알려진 시냅스 가소성(synaptic plasticity) 규칙과 호환됩니다.