Simplex 제약 희소 배깅(SCSB): 균일 사전 분포에서 희소 사후 분포로의 전이

우리는 부트스트랩 기반 배깅 앙상블의 학습 후 압축 및 확률 보정(probability calibration)을 위한 수학적으로 엄격한 프레임워크인 Simplex-Constrained Sparse Bagging (SCSB)를 제시합니다. 표준 배깅 앙상블(예: Random Forests, Bagged SVMs, Bagged Neural Networks)은 모든 구성 추정기(constituent estimators)에 균일한 투표 가중치를 부여합니다. 하지만 이러한 단순한 균일 사전 분포는 기본 추정기들의 다양한 국소적 역량(local competence)을 무시하며 모델의 과신(overconfidence)에 기여합니다. 우리는 Out-Of-Bag (OOB) 손실을 최소화함으로써 확률 심플렉스(probability simplex) 위에서의 결합 최적화 문제로 앙상블 가지치기(ensemble pruning) 및 보정을 공식화합니다. 희소성(sparsity)을 유도하기 위해, 우리는 L1 노름이 심플렉스 위에서 상수이고 가지치기를 수행하지 못하는 수학적 현실인 이론적인 'L1-simplex 역설'을 해결하고자 오목한 이차 페널티(concave quadratic penalty)를 도입합니다. SCSB는 모델에 구애받지 않으며 최대 96%의 앙상블 압축률을 달성하여, 선형 추론 속도 향상과 우수한 확률 보정(낮아진 Expected Calibration Error)을 제공하는 동시에 일반화 정확도를 유지하거나 향상시킵니다.