재표집(Resampling)의 숨겨진 비용: 불균형 교정이 트리 앙상블(Tree Ensembles)의 확률 교정(Probability

SMOTE 및 무작위 언더/오버 샘플링(random under/over-sampling)과 같은 재표집(Resampling) 방법은 클래스 불균형 분류(class-imbalanced classification)를 위한 표준 도구이며, 거의 항상 소수 클래스 정확도(minority-class accuracy)나 F1 점수로 평가됩니다. 이전 연구들은 언더샘플링(undersampling)이 훈련 사전 확률(training prior)을 왜곡함으로써 확률 교정(probability calibration)을 저하시킨다는 점을 입증했습니다 [1]. 본 연구에서는 이러한 관점을 합성 오버샘플링(synthetic oversampling, SMOTE)으로 확장하여, 교정 손상이 언제 문제가 되는지, 그리고 이를 어떻게 해결할 수 있는지에 대한 실질적이고 증거 기반의 가이드를 제공합니다. 5개의 공개 데이터셋(불균형 비율 1.9-70)과 2개의 앙상블 모델(random forest, gradient boosting)을 대상으로 10개의 시드(seed) 및 쌍을 이룬 통계치를 사용하여 분석한 결과, 다음과 같은 사실을 발견했습니다: (1) SMOTE의 교정 비용은 실재하지만 미미합니다(연구된 불균형 범위(IR 1.9-70) 전반에서 ECE +0.009; Cliff's delta = +0.27, 소규모에서 중간 규모). 또한 SMOTE의 변별력(discrimination) 이득이 일반적으로 교정 페널티보다 큽니다; (2) 무작위 언더샘플링(random undersampling)이 진정한 위험 요소입니다. 언더샘플링의 손상은 불균형이 심해질수록 급격히 증가하며, 비율이 70인 데이터셋에서 ECE를 0.008에서 0.395로 팽창시킵니다. 이는 주로 결과적으로 생성된 훈련 세트가 확률을 신뢰성 있게 추정하기에 너무 작기 때문입니다; (3) 단일 사후 교정(post-hoc recalibration) 단계(Platt 또는 isotonic)를 통해 손상을 제거할 수 있으며, 순위 성능(ranking-power) 비용이 무시할 만한 수준(AUC -0.002, Cliff's delta = -0.07)인 상태에서 ECE를 최대 66%까지 감소시킵니다; (4) 언더샘플링을 복구하는 분석적 사전 확률 이동 교정(analytic prior-shift correction)은 SMOTE에는 적용되지 않습니다. 이는 SMOTE가 사전 확률(prior)만을 왜곡하는 것이 아니라 클래스 조건부 밀도(class-conditional density)를 왜곡하기 때문이며, 따라서 데이터 기반의 재교정(recalibration)이 여전히 필요합니다. 본 연구는 불균형 학습(imbalanced-learning) 연구에서 변별력과 함께 교정(calibration) 지표를 보고할 것을 권장하며, 예측 확률이 의사결정을 주도하는 경우 실무자들이 재표집 후에 반드시 재교정을 수행할 것을 권장합니다.