확률적 예측 집합(Conformal Prediction Sets)이 정보 이득을 정량화하는 방법: 이론적 관점

확률적 예측은 유한 표본 커버리지 보장을 갖는 예측 집합을 출력하여 불확실성 정량화에 사용되는 인기 있는 도구입니다. 비록 예측 집합 크기가 불확실성의 경험적 측정치로 흔히 사용되지만, 이러한 해석의 정보 이론적 기반은 여전히 잘 이해되지 않고 있습니다. 본 논문에서는 예측값에 대해 설정된 엔트로피를 결정론적으로 일반화하여 그러한 기반을 제공합니다. 특히, 우리는 확률적 예측 집합의 크기와 커버리지를 기반으로 하는 일반화된 정보 측정치 계열을 도입합니다. 주목할 점은 Shannon 상호정보량(mutual information)이 이러한 측정치들을 이용해 정확한 적분 표현을 가진다는 것입니다. 그런 다음, 표준 분류 설정에서 추가적인 정보 (i)로 인한 확률적 집합 크기의 감소가 이 계열의 보정(calibration)-의존적인 원소들 사이에 끼어 있으며 (ii) 유한 표본 보정과 모델 오차 항까지 고려했을 때 데이터 처리 부등식(data processing inequality)을 따른다는 것을 보여줍니다. 종합적으로, 우리의 결과는 확률적 예측과 고전적인 정보 이론적 양들을 형식적으로 연결하고 집합 크기 감소를 정보 이득 측정치로 사용하는 것을 정당화합니다. 경험적으로, 우리는 11가지 분류 설정에 걸쳐 우리의 이론을 검증했으며, 집합 크기 감소와 Shannon 상호정보량이 탐욕적 특징 선택 실험에서 특징들을 다르게 순위 매길 수 있음을 보여줍니다.