매끄러운 손실 함수를 위한 PAC-Bayes 경계의 매끄러움 기반 비무작위화 (Smoothness-Based Derandomization of

우리는 매끄러운 손실 함수 (smooth loss functions)에 대한 PAC-Bayes 비무작위화 (derandomization)를 연구합니다. 우리의 목표는 손실 함수와 예측기 클래스 (predictor class) 모두의 매끄러움 (smoothness) 특성을 활용하여, 결정론적 예측기 (deterministic predictors)에 대해 높은 확률로 성립하는 일반화 경계 (generalization bounds)를 얻는 것입니다. 우리는 Gibbs 예측기에서 사후 평균 (posterior mean)에서의 결정론적 예측기로 넘어가는 과정이 Jensen gap 클래스의 일반화 간극 (generalization gap)에 의해 주어지는 정확한 비용을 갖는다는 것을 보여줍니다. 우리는 Rademacher 복잡도 (Rademacher complexity)를 통해 이 클래스를 제어하며, 이는 파라미터 Jacobian 및 스코어 맵 (score map)의 Hessian으로 표현되는 평탄도 (flatness) 양을 포함하는 결정론적 예측기에 대한 경계로 이어집니다. 이 프레임워크는 유계 (bounded) 및 무계 (unbounded) 매끄러운 손실 함수 모두에 적용되며, 우리는 결과를 선형 예측기 (linear predictors)와 매끄러운 신경망 (smooth neural networks)으로 특수화합니다. 마지막으로, 이론에 등장하는 Jacobian 및 Hessian 양은 실용적인 정규화 항 (regularizer)의 동기가 됩니다. BatchNorm 네트워크의 경우, BatchNorm 변환을 인접한 아핀 가중치 (affine weights)로 폴딩 (folding)하여 얻은 유효 BatchNorm 가중치 (effective BatchNorm weights)에 대해 이 정규화 항을 계산합니다. CIFAR-10에 대한 실험은 다양한 배치 크기 (batch sizes)에 따른 이 정규화 항의 동작을 보여줍니다.