국소적 강건성(Local Robustness)과 안정성(Stability)을 통한 딥러닝 모델의 일반화 오차(Generalization

일반화(Generalization)는 데이터 기반 모델, 특히 안전이 중요한 애플리케이션에 배포되는 딥러닝(Deep Learning) 모델의 핵심적인 속성입니다. 강건성 기반의 일반화 경계(Robustness-based generalization bounds)는 강건성 속성을 일반화 성능과 연결하는 원칙적인 방법으로서 주목받아 왔으며, 종종 데이터 의존적인(data-dependent) 방식으로 이루어집니다. 그러나 기존의 대부분의 경계는 실제 설정에서 공허함(vacuousness) 문제를 겪으며, 실제 오차율을 크게 초과하는 느슨한 상한선(loose upper bounds)을 생성하여 실세계 평가에서의 유용성을 제한합니다. 이러한 문제는 흔히 불확실성 항(uncertainty term) 때문인 것으로 간주되지만, 문제의 상당 부분은 강건성 항(robustness term) 자체, 특히 0-1 손실(0-1 loss)에서 기인합니다. 기존 방식들은 일반적으로 강건성 항을 전역적 척도(global measure)로 취급하여, 입력 공간의 서로 다른 하위 영역(sub-regions)에 따른 변화를 무시합니다. 본 연구에서는 각 하위 영역 내의 안정적인 샘플(stable samples)과 불안정한 샘플(unstable samples)의 수에 따라 강건성 항을 스케일링함으로써 이러한 한계를 해결하는 일반화 경계를 제안합니다. 우리의 경계는 실질적인 관련성(실제 오차에 대한 더 타이트한 상한선 도출)을 유지하면서 데이터 및 모델 의존적 요인을 모두 통합합니다. ImageNet 데이터셋으로 학습된 모델에 대한 실험 결과, 우리의 경계는 일관되게 공허하지 않은(non-vacuous) 상태를 유지하며 기존 방법들 중 가장 타이트한 추정치를 달성하였고, 다양한 강건한 딥 뉴럴 네트워크(robust deep neural networks) 전반에 걸쳐 경험적 성능과 밀접하게 일치함을 보여줍니다.