신호 개선, 인코더 감퇴: 자기지도 학습에서의 레이블 없는 모니터링에 대한 정답 기반 테스트

요약

본 연구는 자기지도 학습(SSL) 과정에서 레이블 없이 모델의 상태를 모니터링하는 방법을 제시합니다. 인코더가 성능을 잃어가는 상황을 포착하기 위해 합성 이미지와 LeJEPA를 활용했습니다. 기존 변화점 감지 기법보다 개선된 무감독 신호들이 모델 체크포인트를 선택하는 데 훨씬 효과적임을 입증하며, SSL의 안정적인 학습 관리를 위한 새로운 지표를 제공합니다.

핵심 포인트

• SSL 모니터링은 레이블 없이 특징 손실과 통계량으로 이루어짐.
• 인코더 성능 저하 감지를 위해 새로운 무감독 신호가 제시됨.
• 제안된 신호들은 기존 변화점 감지보다 체크포인트 선택에 더 정확함.
• LeJEPA와 같은 모델을 활용하여 학습 과정의 안정성을 검증할 수 있음.