훈련 분포를 넘어서: 분포 변화(Distribution Shift) 및 선택 편향(Selection Bias) 하에서의 예측 평가

알고리즘이 의사결정에 영향을 미칠 때, 배포 전 새로운 환경에서 예측 모델이 어떻게 작동할지 이해하는 것은 피해를 방지하는 데 필수적입니다. 모델 성능 저하의 두 가지 일반적인 원인은 (i) 타겟 공변량 분포(target covariate distribution)가 소스 분포와 다른 공변량 변화 (covariate shift), 그리고 (ii) 결과의 관찰 가능성이 과거의 결정에 의존하는 선택적 레이블 (selective labels)입니다. 본 연구에서는 공변량 변화와 관찰된 특징(features)에 기반한 선택적 결과 레이블링이 동시에 존재하는 상황에서의 배포 전 모델 평가를 연구합니다. 특히, 일반적인 손실 함수 (loss function) 하에서 임의의 블랙박스 (black-box) 예측 모델의 타겟 리스크 (target risk)를 추정하기 위한 이중 머신러닝 (double machine learning) 절차를 제시합니다. 우리는 표준 가정 하에서 이 추정량 (estimand)의 식별 가능성 (identification)을 보여주며, 타겟 리스크의 영향 함수 (influence function)를 기반으로 한 편향 수정 추정량 (bias-corrected estimator)을 도출합니다. 마지막으로, eICU 전자 건강 기록 (electronic health records) 데이터베이스를 사용한 실험을 통해 우리의 추정량을 평가하며, 이것이 선택적 레이블 또는 공변량 변화만을 다루는 방법이나 표준 플러그인 (plug-in) 접근 방식을 결합한 베이스라인 (baseline) 모델들보다 실제 타겟 리스크를 더 정확하게 추적함을 보여줍니다.