CalArena: 대규모 사후 교정 (Post-Hoc Calibration) 벤치마크

신뢰할 수 있는 확률 추정치는 많은 머신러닝 (Machine Learning) 애플리케이션에서 매우 중요하지만, 현대의 분류기 (Classifiers)들은 종종 교정 (Calibration)이 제대로 이루어지지 않습니다. 사후 교정 (Post-hoc calibration)은 간단하고 널리 사용되는 해결책을 제공하지만, 제안된 수많은 방법론과 소규모 및 일관되지 않은 평가 방식이 결합되어 어떤 접근 방식이 실제로 효과적인지 판단하기 어렵게 만듭니다. 우리는 이진 (Binary), 다중 클래스 (Multiclass), 대규모 분류 (Large-scale classification) 설정을 포함하여, 정형 데이터 (Tabular) 및 컴퓨터 비전 (Computer Vision) 태스크 전반에 걸쳐 약 2,000개의 실험을 아우르는 대규모의 표준화된 사후 교정 벤치마크를 소개합니다. 우리의 벤치마크는 다양한 고전적 모델 (Classical models), 현대적 딥러닝 아키텍처 (Deep learning architectures), 그리고 파운데이션 모델 (Foundation models)의 예측치를 집계하며, 공통된 평가 프레임워크 내에서 수십 가지 교정 방법론에 대한 통합되고 재현 가능한 구현을 제공합니다. 우리는 적절한 점수 규칙 (Proper scoring rules)에서의 사후 개선 (Post-Hoc Improvement, PHI)이 사후 교정 방법들을 비교하기 위한 전통적인 교정 오차 추정치 (Calibration error estimators)의 원칙적인 대안이 될 수 있다고 주장하며, 이는 교정 품질과 모델의 예측 성능 저하 가능성을 모두 포착합니다. 이 프레임워크를 사용하여 우리는 현재까지 수행된 사후 교정에 대한 가장 포괄적인 실증적 연구를 수행합니다. 우리의 결과는 도메인을 가리지 않고 일관된 패턴을 보여줍니다: 매끄러운 교정 함수 (Smooth calibration functions)가 빈 기반 (Binning-based) 접근 방식보다 성능이 뛰어나며, 고차원 설정에서는 전용 다중 클래스 방법론이 필수적이고, 일반적인 머신러닝 모델은 교정 특화 설계 없이는 경쟁력이 없다는 점입니다. 향후 연구를 촉진하기 위해, 우리는 모든 데이터, 코드 및 평가 도구를 공개하여 교정 방법론을 개발하고 비교할 수 있는 플러그 앤 플레이 (Plug-and-play) 벤치마크를 제공합니다.