우리의 모델을 신뢰할 수 있는가? 2차 분류에서의 인식론적 보정 (Epistemic calibration)

불확실성 추정 (Uncertainty estimation)은 높은 이해관계가 걸린 환경 (high-stakes settings)에서 머신러닝 모델을 배포하는 데 있어 매우 중요합니다. 그러나 전통적인 보정 (classical calibration)은 예측된 확률의 신뢰성만을 평가할 뿐, 인식론적 불확실성 (epistemic uncertainty) 추정치 자체가 신뢰할 수 있는지 여부는 평가하지 않습니다. 이러한 한계는 특히 2차 분류 (second-order classification) 모델에서 두드러집니다. 본 연구에서는 보고된 인식론적 불확실성이 실제 정답 (ground truth) 주변의 모델 예측 분산 (dispersion)을 충실히 반영하는지 측정하는 원칙적인 기준인 인식론적 보정 (epistemic calibration)을 소개합니다. 우리는 인식론적 보정이 전통적인 보정보다 엄격하게 더 강력한 개념이며, 표준 지표로는 보이지 않는 실패 모드 (failure modes)를 포착한다는 것을 보여줍니다. 우리는 인식론적 보정 가설 (epistemic calibration hypothesis) 하에서 성립하는 불가능성 정리 (impossibility theorem)를 통해 이 연구를 기존 문헌과 연결합니다. 이 개념을 실행에 옮기기 위해, 우리는 기대 인식론적 보정 오차 (Expected Epistemic Calibration Error, EECE)를 제안하며, 이것이 진정한 인식론적 보정 오차 (True Epistemic Calibration Error, TECE)의 일치 추정량 (consistent estimator)임을 증명합니다. 광범위한 불확실성 정량화 (uncertainty quantification) 방법론을 대상으로 한 실험을 통해, 인식론적 보정이 일관되고 의미 있는 기준임을 보여주며, 예측 성능이 유사함에도 불구하고 방법론 간에 상당한 차이가 있음을 밝혀냅니다.