자기지도 심층 ReLU 네트워크의 선형 영역 복잡도

Rectified Linear Unit (ReLU) 기반 활성화 함수를 사용하는 네트워크의 복잡도를 연구하는 것에 대한 관심이 높아지고 있습니다. 최근 연구들은 학습 과정에서 형성되는 조각별 선형 분할 (linear regions) 의 수의 진화를 조사하고 있습니다. 그러나 현재의 연구는 감독을 통해 훈련된 모델의 복잡도만을 검토하는 데 제한되어 있습니다. 자기지도 학습 (SSL) 은 다중 하위 작업 전반에 걸쳐 모델 성능을 향상시키기 위해 손실 함수를 직접 사용하여 표현 공간을 최적화한다는 점에서 차별화됩니다. 본 연구는 SSL 모델이 생성한 선형 영역의 국소 분포를 조사합니다. 우리는 데이터 분포 근처의 2 차원 다면체 (polytopes) 를 추출하기 위해 SplineCam 을 이용하여 선형 영역의 진화가 표현 품질과 상관관계를 있음을 보여줍니다. 우리는 훈련 과정에서 영역의 수, 면적, 이심률 및 경계를 추적합니다. 본 연구는 두 가지 표준 벤치마크 데이터셋인 MNIST 와 FashionMNIST 에서 감독 학습, 대조적 (contrastive), 자기 증류 (self-distillation) 방법을 비교합니다. 실험 결과 분석을 통해 자기지도 방법은 감독 모델과 유사한 정확도를 달성하기 위해 현저히 적은 수의 영역을 생성함이 드러났습니다. 대조적 방법은 시간이 지남에 따라 영역을 빠르게 확장하는 반면, 자기 증류 방법은 인접 영역을 병합하여 통합되는 경향이 있습니다. 마지막으로, 우리는 선형 영역의 기하학적 공간 내에서 표현 붕괴를 조기에 감지할 수 있습니다. 우리의 분석은 다면체 지표가 표현 품질과 모델 성능의 신뢰할 수 있는 지표로 작용할 수 있음을 시사합니다.