자기지도 심층 ReLU 네트워크의 선형 영역 복잡도

요약

본 연구는 ReLU 기반 네트워크의 복잡도를 자기지도 학습(SSL) 관점에서 조사하며, SSL이 생성하는 선형 영역의 국소 분포를 분석했습니다. MNIST와 FashionMNIST 데이터셋을 사용하여 감독 학습, 대조적, 자기 증류 등 다양한 SSL 방법을 비교한 결과, SSL 방법들이 유사한 정확도를 달성하기 위해 기존 감독 모델보다 훨씬 적은 수의 선형 영역을 생성함을 입증했습니다. 특히, 이 연구는 다면체 지표를 통해 표현 붕괴를 조기에 감지하고 모델 성능과 연결할 수 있는 새로운 방법을 제시합니다.

핵심 포인트

• SSL 방법론이 유사한 정확도를 달성하는 데 필요한 선형 영역의 수가 적다는 것을 보여주었습니다.
• 대조적(Contrastive) SSL은 시간이 지남에 따라 영역을 빠르게 확장하는 경향이 있습니다.
• 자기 증류(Self-Distillation) SSL은 인접 영역을 병합하여 통합되는 경향을 보였습니다.
• 선형 영역의 기하학적 특성(다면체 지표 등)을 추적함으로써 표현 품질과 모델 성능 간의 상관관계를 분석할 수 있습니다.