OUIDecay: 온라인 활성화 패턴을 이용한 CNN의 적응형 레이어별 가중치 감쇠

요약

본 논문은 CNN 훈련에서 레이어별로 다른 정규화 강도가 필요하다는 점에 착안하여, 과적합-과소적합 지표(OUI)를 활용한 적응형 가중치 감쇠 스케줄러인 OUIDecay를 제안합니다. OUIDecay는 각 레이어의 활성화 패턴을 온라인으로 모니터링하고, 이 정보를 기반으로 네트워크 내 다른 레이어들과 상대적으로 가중치 감쇠를 주기적으로 재조정합니다. 이는 검증 데이터 없이도 구조적 동작에 기반한 효과적인 적응형 정규화 방법이며, 다양한 CNN 아키텍처에서 기존 방식 대비 우수한 성능을 입증했습니다.

핵심 포인트

• 기존의 고정된 가중치 감쇠는 모든 레이어에 균일하게 적용되어 최적의 정규화를 방해할 수 있다.
• OUIDecay는 과적합-과소적합 지표(OUI)를 사용하여 각 레이어의 활성화 패턴을 온라인으로 모니터링한다.
• 이 방법은 검증 데이터가 필요하지 않으며, 오직 활성화 패턴에서 추출된 기능적 정보에 의존하여 가중치 감쇠를 적응적으로 재조정한다.
• 다양한 CNN 모델(EfficientNet-B0, ResNet50 등) 및 데이터셋에서 기존 방식 대비 우수한 평균 검증 손실을 달성했다.