Lipschitz를 넘어: 이산 연속성 계수 (Discrete Modulus of Continuity)를 통한 데이터 기반 강건성

신경망의 강건성 (Robustness)은 일반적으로 국소적 (local) 또는 전역적 (global) Lipschitz 상수 (Lipschitz constants)를 통해 정량화됩니다. 그러나 Lipschitz 연속성 (Lipschitz continuity)은 전역적 강건성 측정 도구로서 지나치게 거칠거나 지나치게 제한적일 수 있으며, 미묘하고 데이터에 의존적인 동작을 포착하지 못하는 한계가 있습니다. 본 논문에서는 Lipschitz 연속성의 비선형 일반화로서 더 세밀한 강건성 개념을 제공하는 이산 연속성 계수 (Discrete Modulus of Continuity, DMOC)에 기반한, 데이터 기반의 아키텍처 불가지론적 (architecture-agnostic) 프레임워크를 제안합니다. 기존의 많은 접근 방식과 달리, DMOC는 모델 내부 정보에 대한 접근을 요구하지 않으며 대신 데이터 분포 (data distribution)에 상대적인 정규성 (regularity)을 평가합니다. 이는 초점을 모델에서 데이터로 전환하며, 데이터는 네트워크의 강건성을 평가하는 기준이 되는 데이터 기반의 정규성 베이스라인을 제공합니다. 우리는 분리 거리 (separation distance)에 따른 명시적인 데이터 기반 속도를 갖는 DMOC 유도 준노름 (seminorms)에 대한 수렴 결과를 확립하였으며, 정확한 계산의 이차 비용 (quadratic cost)을 줄여 ImageNet과 같은 대규모 데이터셋에 적용할 수 있게 하는 확장 가능한 미니배치 (minibatch) 알고리즘을 소개합니다. 실증적으로, DMOC는 아키텍처 독립적인 진단 도구 역할을 합니다. 즉, 훈련된 네트워크와 훈련되지 않은 네트워크를 구분하고, 과소적합 (underfitting) 및 과적합 (overfitting) 상태를 드러내며, 특수한 경우로서 ECLipsE 및 ECLipsE-fast와 같은 최첨단 (state-of-the-art) 방법론과 비교 가능한 정밀한 Lipschitz 추정치를 산출합니다.