The Manokhin Probability Matrix: A Diagnostic Framework for Classifier

Brier 점수는 확률적 예측의 두 가지 다른 속성을 혼동합니다: 신뢰성 (calibration error) 과 분해능 (discriminatory power). 우리는 Manokhin Probability Matrix를 소개합니다. 이는 BCG 스타일의 2 차원 진단 프레임워크로, 이 두 속성을 분리합니다. 분류기는 Spiegelhalter Z-statistic 과 AUC-ROC expected rank 에 의해 2x2 그리드에 배치된 후, Eagle (두 축 모두 좋음), Bull (강한 분해능, 낮은 신뢰성), Sloth (높은 신뢰성, 약한 분해능), Mole (두 축 모두 나쁨) 의 네 가지 아키텍처 중 하나로 할당됩니다. 각 아키텍처는 고유한 처방을 가집니다. 우리는 TabArena-v0.1 suit 에 포함된 21 개의 분류기, 5 개 후속 보정기 (post-hoc calibrators), 그리고 30 개의 실제 이진 분류 과제에서 대규모 실험 연구를 통해 행렬을 채웠습니다. 할당은 모호하지 않습니다. CatBoost, TabICL, EBM, TabPFN, GBC, Random Forest 는 Eagles 입니다. XGBoost, LightGBM, HGB 는 Bulls 입니다; Venn-Abers 보정은 Bulls 에 대해 log-loss 를 6.5~12.6% 절감시키지만 Eagles 는 2.1% 저하시킵니다. SVM, LR, LDA, 그리고 경험적 기본 확률 예측기는 Sloths 입니다. MLP, KNN, Naive Bayes, ExtraTrees 는 Moles 입니다. 이론적 비대칭성도 존재합니다: 순서 보존 후속 보정기는 분해능을 추가할 수 없습니다 (Proposition 1), 따라서 보정은 수정 가능한 부분이고 분해능은 어려운 부분입니다. 실용적인 규칙은 직접적입니다: Brier 점수를 최적화하기 전에 이를 분해하지 마십시오; 먼저 분해능을 최적화한 후 보정을 후속으로 수정하십시오. 코드와 원시 실험 데이터는 https://github.com/valeman/classifier_calibration 에서 이용 가능합니다.