Ribbon: 확장 가능한 근사 및 강건한 불확실성 정량화 (Uncertainty Quantification)

복잡하거나 고차원이거나 혹은 잘못 지정된 (misspecified) 모델에 대해 예측 불확실성 (predictive uncertainty)을 신뢰할 수 있게 정량화하는 것은 어렵습니다. 완전 베이지안 (fully Bayesian) 방식과 부트스트랩 재표집 (bootstrap resampling) 방식 모두 원칙적인 불확실성 추정치를 제공하지만, 사후 샘플링 (posterior sampling)이나 반복적인 모델 재적합 (model refitting)을 요구하기 때문에 현대 머신러닝 (machine-learning) 모델에는 비용이 너무 많이 드는 경우가 많습니다. 우리는 디리클레 재가중 부트스트랩 (Dirichlet-reweighted bootstrap) 불확실성에 대한 확장 가능한 근사법인 Ribbon을 소개합니다. Ribbon은 반복적인 재적합을 단일 적합 모델 주변의 영향 함수 (influence-function) 선형화로 대체하여, 사후 선형 대수 (post-hoc linear algebra)만을 요구하면서도 베이지안 부트스트랩 (Bayesian bootstrap)의 1차 데이터 재가중 (data-reweighting) 구조를 보존합니다. Ribbon은 베이지안 부트스트랩 (Bayesian-bootstrap) 또는 가중 likelihood 부트스트랩 (weighted-likelihood-bootstrap) 재적합 대상을 근사합니다. 일반적인 집중 매개변수 (concentration parameter)를 사용하여, Ribbon은 검증 데이터 (validation data)에서 불확실성 척도 (uncertainty scale)를 조정할 수 있는 보정된 (calibrated) 디리클레 재가중 (Dirichlet-reweighting) 제품군을 제공합니다. 우리는 likelihood 지정이 올바를 경우 Ribbon이 평평한 사전 확률 (flat-prior) 라플라스 근사 (Laplace approximation)와 점근적으로 동일하며, 잘못 지정되었을 경우 강건한 샌드위치 공분산 (robust sandwich covariance)을 회복함을 보여줍니다. 합성 회귀 (synthetic regression), MNIST 분류 (classification), 그리고 California Housing 벤치마크 전반에 걸쳐, Ribbon은 반복적인 모델 재학습을 피하면서도 여러 설정에서 경쟁력 있는 예측 성능과 향상된 보정 (calibration)을 제공합니다.