그래프 신경망 (GNN) 내 미니 배치 학습의 암묵적 규제화 (Implicit Regularization)

그래프 신경망 (Graph Neural Networks, GNNs)의 미니 배치 (Mini-batch) 학습은 독립 항등 분포 (i.i.d.) 데이터를 대상으로 하는 학습과는 근본적으로 다릅니다. 서브그래프 (subgraph)를 샘플링하는 과정은 토폴로지 (topology)를 변화시키고 경계 효과 (boundary effects)를 유발하며, 이로 인해 기존 연구들은 국소적 연결성 (local connectivity)을 보존하고 임베딩 분산 (embedding variance)을 줄이는 구조 인식형 샘플러 (structure-aware samplers)를 개발해 왔습니다. 놀랍게도, 우리는 균일하게 샘플링된 노드들로 유도된 서브그래프 (induced subgraph)에서 학습하는 가장 단순한 방식인 무작위 노드 샘플링 (Random Node Sampling, RNS)이 10개의 데이터셋 중 8개에서 실제 소요 시간 (wall-clock time)과 메모리를 대폭 절감하면서도 전체 그래프 (full-graph) 학습과 대등하거나 더 나은 성능을 보임을 입증했습니다. 이를 설명하기 위해, 우리는 그래프 미니 배치 확률적 경사 하강법 (Stochastic Gradient Descent, SGD)에 후방 오차 분석 (backward error analysis)을 적용하였으며, 이것이 샘플링된 손실 (sampled loss)에 샘플러에 의해 직접적으로 형성되는 미니 배치 그래디언트 분산 (mini-batch gradient variance)에 비례하는 규제화 항 (regularizer)을 더한 값을 암묵적으로 최소화한다는 것을 보여줍니다. RNS는 국소적 구조를 버리지만, 기대 손실 (expected loss)은 전체 그래프 손실 (full-graph loss)에 더 가깝고 배치당 그래디언트 (per-batch gradients)의 분산은 더 낮은 미니 배치를 생성하여 더 나은 암묵적 목적 함수 (implicit objective)를 산출합니다. 우리의 분석은 그래프 샘플러의 선택을 암묵적 규제화 (implicit regularization)의 한 형태로 재정의하며, RNS를 확장 가능한 GNN 학습을 위한 강력하고 이론적 근거가 있는 방법으로 식별합니다.