Deep Ensembles가 실제로 Graph Neural Networks에서 불확실성을 포착하는가?

Deep Ensembles (딥 앙상블)가 딥러닝에서 불확실성 정량화 (Uncertainty Quantification)를 위한 기본 방법으로 널리 간주되고 있지만, 그래프 구조 데이터 (Graph-structured data)에 대한 효과는 컴퓨터 비전 (Computer Vision)과 같은 도메인에서의 성공을 바탕으로 단순히 가정되는 경우가 많습니다. 본 연구에서는 메시지 패싱 (Message-passing) 그래프 신경망 (Graph Neural Networks, GNN)을 위해 표준 Deep Ensembles를 구체적으로 조사합니다. 다양한 작업과 복잡성을 나타내는 7개의 데이터셋을 통해 벤치마킹한 결과, 앙상블이 단일 모델에 비해 놀라울 정도로 적은 개선만을 제공한다는 사실을 밝혀냈습니다. 대신, 관찰된 미미한 이득은 의미 있게 더 나은 불확실성 추정치를 산출하기보다는 점 예측 (Point predictions)에서 최적화 노이즈 (Optimization noise)를 안정화하는 데서 주로 기인합니다. Aleatoric-epistemic 분해 (Aleatoric-epistemic decomposition)를 통해, 우리는 Epistemic collapse (인식론적 붕괴)를 식별합니다: 독립적으로 훈련된 네트워크들이 지속적으로 지나치게 유사한 예측으로 수렴한다는 것입니다. 불일치 (Disagreement)는 앙상블이 Epistemic uncertainty (인식론적 불확실성)를 포착하는 근본적인 메커니즘이기 때문에, 이러한 다양성의 결여는 앙상블의 핵심적인 이점을 무력화합니다. 이 현상을 더 자세히 분석하여, 우리는 이러한 붕괴가 가중치 공간 (Weight-space)의 볼록성 (Convexity)보다는 기능적 (Functional) 볼록성에 의해 유도되며, 서로 다른 파라미터 솔루션이 거의 동일한 동작을 유도한다고 제안합니다. 우리의 결과는 Deep Ensembles의 성공이 그래프 머신러닝 (Graph Machine Learning)으로 매끄럽게 전이되지 않음을 시사합니다.