OUIDecay: 온라인 활성화 패턴을 이용한 CNN의 적응형 레이어별 가중치 감쇠
요약
본 논문은 CNN 훈련에서 레이어별로 다른 정규화 강도가 필요하다는 점에 착안하여, 과적합-과소적합 지표(OUI)를 활용한 적응형 가중치 감쇠 스케줄러인 OUIDecay를 제안합니다. OUIDecay는 각 레이어의 활성화 패턴을 온라인으로 모니터링하고, 이 정보를 기반으로 네트워크 내 다른 레이어들과 상대적으로 가중치 감쇠를 주기적으로 재조정합니다. 이는 검증 데이터 없이도 구조적 동작에 기반한 효과적인 적응형 정규화 방법이며, 다양한 CNN 아키텍처에서 기존 방식 대비 우수한 성능을 입증했습니다.
핵심 포인트
- 기존의 고정된 가중치 감쇠는 모든 레이어에 균일하게 적용되어 최적의 정규화를 방해할 수 있다.
- OUIDecay는 과적합-과소적합 지표(OUI)를 사용하여 각 레이어의 활성화 패턴을 온라인으로 모니터링한다.
- 이 방법은 검증 데이터가 필요하지 않으며, 오직 활성화 패턴에서 추출된 기능적 정보에 의존하여 가중치 감쇠를 적응적으로 재조정한다.
- 다양한 CNN 모델(EfficientNet-B0, ResNet50 등) 및 데이터셋에서 기존 방식 대비 우수한 평균 검증 손실을 달성했다.
가중치 감쇠(Weight decay)는 합성곱 신경망(CNN) 훈련에 가장 널리 사용되는 정규화 메커니즘 중 하나이지만, 여전히 모든 레이어에 걸쳐 고정된 계수로 공통 적용되는 경우가 많습니다. 이러한 균일한 처리는 서로 다른 레이어가 다른 구조적 동역학을 따를 수 있으며 따라서 서로 다른 정규화 강도를 필요로 할 수 있다는 점을 무시합니다. 본 논문에서는 과적합-과소적합 지표(Overfitting-Underfitting Indicator, OUI)에 의해 구동되는 CNN용 적응형 레이어별 및 시간 종속적 가중치 감쇠 스케줄러인 OUIDecay를 제안합니다. OUI는 이전에 정규화 품질에 대한 초기 정보를 제공하는 것으로 입증된 활성화 기반 메트릭입니다. OUIDecay는 OUI의 경량 배치 기반 공식(lightweight batch-based formulation)을 사용하여 각 레이어의 구조적 동작을 온라인으로 모니터링하고, 네트워크 내 다른 레이어들과 상대적으로 그 가중치 감쇠를 주기적으로 재조정합니다. 기울기 기반 적응형 감쇠 방법과 달리, 저희 접근 방식은 활성화 패턴에서 추출된 기능적 정보에 의존하며 검증 데이터가 필요하지 않습니다. Stanford Cars를 사용한 EfficientNet-B0, Food101을 사용한 ResNet50, CIFAR100을 사용한 DenseNet121, 그리고 CIFAR10을 사용한 MobileNetV2에 대한 실험 결과는 OUIDecay가 평가된 8가지 설정 중 7가지에서 가장 우수한 평균 검증 손실(mean best-validation-loss)을 달성함을 보여줍니다. 이러한 결과는 활성화 기반 가중치 감쇠 적응이 고정 감쇠 및 기울기 기반 적응형 감쇠에 대한 실용적이고 효과적인 대안이며, 방법을 경량화하고 온라인 사용에 적합하게 유지한다는 것을 나타냅니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기