SGD가 XOR 모델에서 우회 경로의 가짜 특징을 학습하는 것을 증명

신경망은 가짜 상관관계(spurious correlations)에 과도하게 의존하는 경향이 있는 것으로 알려져 있습니다. 하지만 모델이 우회 경로 특징(shortcut features)을 이용하는 정확한 메커니즘은 완전히 이해되지 않았으며, 이러한 행동을 완화하기 위한 알고리즘들은 아직 정당화되지 않은 학습된 표현(learned representations)에 대한 가정을 기반으로 합니다. 본 논문에서는 로지스틱 손실(logistic loss)로 온라인 미니배치 SGD를 통해 훈련되는 2층 ReLU 신경망의 가짜 특징 학습에 대한 최초의 종단 간(end-to-end) 이론적 특성화를 제공합니다. 우리는 이차 신호 함수(즉, XOR)와 선형 가짜 상관관계가 있는 고차원 부울 하이퍼큐브에서 추출된 데이터를 고려합니다. 우리는 SGD가 가짜 특징을 먼저, 그리고 지수적으로 빠르게 학습한다는 것을 보여줍니다. 더욱이, 최적화 역학은 가짜 특징과 신호 특징을 결합시키며, 더 강한 가짜 구성 요소는 신호 특징 학습을 억제합니다. 우리의 분석은 학습 역학에서 정확한 상전이(phase transitions)를 밝혀냅니다. 첫 번째 단계에서는 가짜 특징의 부호와 2층 가중치 간의 정렬이 가짜 특징의 급격한 성장을 이끌어냅니다. 두 번째 단계에서는 큰 다수 그룹 마진(large majority group margin)이 학습을 늦추고 신호 특징은 계속 억제된 상태로 유지됩니다. 가짜 상관관계가 최대 강도를 가질 때, 우리는 XOR가 고립되어 학습될 경우(즉, 가짜 특징이 부재했을 경우) 학습되는 표본 복잡도 임계값에서도 가짜 특징이 지배한다는 것을 이론적으로 보여줍니다. 이와 대조적으로, 상관관계 강도가 일정할 때, 모델이 비록 가짜 특징을 잊지는 못하더라도 결국 XOR 신호를 학습할 수 있다는 예비적인 경험적 증거를 제공합니다.