다변수 Conformal Prediction: 데이터 분할 없는 예측 집합 최적화

Conformal prediction (Conformal 예측)은 유한 샘플 커버리지 보장 (finite-sample coverage guarantees)을 갖는 예측 집합 (prediction sets)을 구축하지만, 그 교정 (calibration) 단계는 구조적으로 스칼라 점수 함수 (scalar score function)와 단일 임계값 변수 (single threshold variable)로 제한되어 있습니다. 이로 인해 예측 집합의 형태는 일반적으로 데이터 분할 (data splitting)을 통해 교정 전에 고정되어야만 합니다. 본 논문에서는 Conformal prediction을 여러 개의 동시 교정 변수를 가진 벡터 값 점수 함수 (vector-valued score functions)로 확장하는 프레임워크인 multi-variable conformal prediction (MCP)을 소개합니다. 데이터 기반 의사결정을 인증하기 위한 원칙적인 프레임워크로서 시나리오 이론 (scenario theory)에 기반하여, MCP는 예측 집합 설계와 교정을 단일 최적화 문제로 통합함으로써 커버리지 보장을 희생하지 않으면서 데이터 분할을 제거합니다. 우리는 두 가지 계산 효율적인 변형 모델을 제안합니다. 첫째, 제약 조건 제거 (constraint removal)를 포함한 제약 최적화 (constrained optimization)에 기반하여 split conformal prediction의 깔끔한 일반화를 허용하는 RemMCP가 있습니다. 둘째, 제약 조건 완화 (constraint relaxation)를 통한 반복 최적화 (iterative optimization)에 기반하며, 다소 더 보수적일 수 있는 대가로 비볼록 점수 함수 (non-convex score functions)를 지원하는 RelMCP가 있습니다. 타원체 (ellipsoidal) 및 다중 모드 (multi-modal) 예측 집합에 대한 수치 실험을 통해, RemMCP와 RelMCP가 데이터 분할을 사용하는 베이스라인과 비슷하거나 더 작은 예측 집합 크기로 목표 커버리지를 일관되게 달성함을 입증하였습니다. 또한, 형태 최적화 (shape optimization)와 교정을 위해 사용 가능한 모든 데이터를 동시에 사용한 직접적인 결과로 교정 실행 간의 분산 (variance)을 상당히 줄였습니다.