Prediction-powered Inference by Mixture of Experts

요약

본 논문은 예측기들의 집합을 전문가 혼합 모델(MOE)로 활용하여 반지도학습 추론(semi-supervised inference)을 수행하는 프레임워크를 제안합니다. 이 '예측 기반 추론(PPI)' 프레임워크는 분산 감소 원리에 기반하여, 주어진 예측기들의 집단적 힘을 활용해 가장 작은 분산을 달성하는 최적의 MOE를 찾습니다. 이를 통해 개별 모델의 불확실성을 보완하고 강력한 성능을 제공하며, 평균 추정, 선형 회귀 등 다양한 통계적 문제에 적용 가능함을 입증했습니다.

핵심 포인트

• MOE(Mixture of Experts)를 활용하여 반지도학습 추론(semi-supervised inference) 프레임워크를 구축했습니다.
• 제안된 '예측 기반 추론(PPI)'은 분산 감소 원리를 이용해 여러 예측기의 집단적 힘을 극대화합니다.
• 이 프레임워크는 개별 모델의 성능 불확실성을 보완하고, 최적 전문가를 보장하는 강력한 추정 능력을 제공합니다.
• 평균 추정, 선형 회귀 등 다양한 통계적 문제에 적용 가능하며, 비점근적 이론 및 신뢰구간 분석을 제시했습니다.