메시지 전달 그래프 신경망(MPGNN)을 위한 PAC-Bayesian 적대적 강건 일반화: 민감도 분석

그래프 신경망 (GNNs)의 적대적 공격 (adversarial attacks)에 대한 취약성은 그래프 표현 학습 (graph representation learning)에 중대한 위협을 가하지만, 적대적 설정에서의 강건한 일반화 (robust generalization) 동작을 이해하는 것은 여전히 근본적인 과제로 남아 있습니다. 최근, PAC-Bayesian 마진 기반 일반화 분석 (margin-based generalization analysis)은 유연하고 데이터 의존적인 분석 프레임워크를 제공함으로써 이 연구 분야를 크게 발전시켰습니다. 그러나 기존의 강건성 분석은 종종 등방성 가우시안 사후 분포 (isotropic Gaussian posteriors)에 의존하며 전체 파라미터 공간에서 가중치 섭동 (weight perturbations)을 제어하는데, 이는 이질적인 파라미터 민감도 (heterogeneous parameter sensitivity)를 포착하는 능력을 제한할 뿐만 아니라 은닉층 너비 (hidden-width)에 의존하는 복잡도 항에 매여 있어 충분히 타이트하지 않은 일반화 경계 (generalization bounds)를 초래합니다. 본 논문에서는 최근 제안된 민감도 인식 PAC-Bayesian 프레임워크를 심층 신경망 (deep neural networks)에서 메시지 전달 그래프 신경망 (MPGNNs)으로 확장하고, 적대적 설정에서 더 타이트한 강건 일반화 경계를 도출합니다. 구체적으로, 먼저 가중치 파라미터에 대한 출력 자코비안 (output Jacobians)을 도출함으로써 서로 다른 파라미터 블록 간의 섭동이 네트워크 출력에 얼마나 민감한지를 정량화합니다. $K$-클래스 그래프 분류에서 이러한 자코비안 행렬의 계수 (rank)가 최대 $K$라는 사실을 활용하여, 우리는 자코비안 정렬 민감도 행렬 (Jacobian-aligned sensitivity matrices)을 구축하고 최적화된 공분산 (covariances)을 가진 비등방성 가우시안 사후 분포 (anisotropic Gaussian posteriors)를 사용하여 KL 발산 (KL divergence)의 상한을 타이트하게 제한합니다. 특히, 학습된 가중치에 대한 스펙트럼 노름 (spectral-norm) 의존성을 개선하고 주요 차원 계수 (leading dimension factor)를 은닉층 너비 의존 항에서 클래스 수 $K$로 줄임으로써, 우리의 분석은 MPGNN에 대해 훨씬 더 타이트한 강건 일반화 보장을 제공하며, 이를 통해 적대적 강건성 (adversarial robustness)을 향상시키기 위한 설계를 안내합니다.