최적의 이중 베이지안 학습 (Optimal Double-Bayesian Learning)을 이용한 신경망 학습

경사 하강법 (Gradient Descent)을 이용한 역전파 (Backpropagation)는 머신러닝 (Machine Learning)의 대부분의 신경망 구조에서 채택되는 일반적인 최적화 전략입니다. 그러나 학습을 가이드할 최적의 하이퍼파라미터 (Hyperparameters)를 찾는 것은 어려운 과제로 입증되었습니다. 적절한 파라미터를 선택하는 것이 과적합 (Overfitting)을 방지하고 편향되지 않은 결과를 얻는 데 매우 중요하다는 점은 널리 인정되고 있지만, 이러한 선택은 여전히 주로 경험적 실험과 경험에 의존하고 있습니다. 본 논문은 확률적 경사 하강법 (Stochastic Gradient Descent, SGD)의 핵심 파라미터인 학습률 (Learning Rate)을 위한 새로운 확률론적 프레임워크 (Probabilistic Framework)를 제시합니다. 이 프레임워크는 고전적인 베이지안 통계 (Bayesian Statistics)를 두 개의 대립하는 베이지안 프로세스 (Bayesian Processes)를 포함하는 이중 베이지안 (Double-Bayesian) 결정 메커니즘으로 발전시킵니다. 이러한 두 프로세스로부터 이론적으로 최적인 학습률을 도출할 수 있으며, 이를 확률적 경사 하강법에 사용할 수 있습니다. 다양한 분류 (Classification), 세그멘테이션 (Segmentation), 탐지 (Detection) 작업에 걸친 실험은 이론적으로 도출된 학습률의 실질적인 유의성을 입증합니다. 또한 본 논문은 제안된 이중 베이지안 프레임워크가 네트워크 학습 및 모델 성능에 미치는 영향에 대해 논의합니다.