Prediction-powered Inference by Mixture of Experts

급속히 확장되고 있는 인공지능 (AI) 산업은 각기 고유한 네트워크 구조, 학습 전략, 데이터 처리 파이프라인 및 도메인별 강점을 지닌 다양하면서도 강력한 예측 도구들을 만들어냈다. 이러한 도구들은 레이블이 지정된 데이터가 제한적이고 획득 비용이 높지만, 반면에 레이블이 지정되지 않은 데이터는 풍부하고 널리 이용 가능한 상황에서 반지도학습 추론 (semi-supervised inference) 을 위한 새로운 기회를 창출한다. 주어진 예측기들의 집합을 전문가 혼합 모델 (mixture of experts, MOE) 로 취급하며, 예측 기반 추론 (prediction-powered inference, PPI) 에 기반한 MOE 기반 반지도학습 추론 프레임워크를 제안한다. PPI 의 근본에 있는 분산 감소 원리에 동기 부여된 본 프레임워크는 가능한 가장 작은 분산을 달성하는 전문가 혼합 모델을 찾는다. 표준 PPI 와 비교하여, MOE 기반 추론 프레임워크는 개별 예측기의 알려지지 않은 성능에 적응하고, 그들의 집단적 예측 힘을 활용하며, 최선 전문가 보장 (best-expert guarantee) 을 누린다. 이 프레임워크는 유연하며 평균 추정, 선형 회귀, 양수추정 및 일반적인 M-추정에 적용된다. 우리는 MOE 기반 추론 프레임워크에 대한 비점근적 이론을 개발하고, 결과 신뢰구간의 커버리지 오버의 상한계를 확립한다. 수치 실험은 MOE 기반 추론의 실용적 유효성을 입증하고 우리의 이론적 발견을 뒷받침한다.