The Manokhin Probability Matrix: A Diagnostic Framework for Classifier

요약

본 문서는 분류기의 성능 진단을 위한 새로운 프레임워크인 Manokhin Probability Matrix를 소개합니다. 이 매트릭스는 기존의 Brier 점수가 혼동했던 신뢰성(Calibration)과 분해능(Discriminatory Power)이라는 두 가지 속성을 분리하여 분석합니다. 사용자는 2x2 그리드에 따라 분류기를 Eagle, Bull, Sloth, Mole 네 가지 아키텍처 중 하나로 진단받고, 각 유형에 맞는 구체적인 개선 처방을 얻을 수 있습니다.

핵심 포인트

• Manokhin Probability Matrix는 분류기의 성능을 신뢰성(Calibration)과 분해능(Discriminatory Power) 두 축으로 분리하여 진단하는 2차원 프레임워크입니다.
• 분류기는 Eagle (이상적), Bull (강한 분해능, 낮은 신뢰성), Sloth (높은 신뢰성, 약한 분해능), Mole (두 속성 모두 나쁨) 네 가지 유형 중 하나로 분류됩니다.
• 실험 결과에 따르면 CatBoost, TabICL 등 일부 모델은 Eagle로 분류되어 최적의 성능을 보이며, XGBoost나 LightGBM 같은 모델은 Bull 유형으로 진단되었습니다.
• 이론적으로 신뢰성(Calibration) 개선은 비교적 쉽지만, 분해능(Discriminatory Power) 개선은 어렵습니다. 따라서 Brier 점수 최적화 시에는 먼저 분해능을 최적화하고 보정(Calibration)을 후속적으로 적용하는 것이 권장됩니다.