연합 마팅게일 사후 샘플링 (Federated Martingale Posterior Sampling)

연합 베이지안 신경망 (Federated Bayesian neural networks)은 가능도 (likelihood)와 함께 모델 파라미터에 대한 사전 분포 (prior)를 설정해야 합니다. 현대의 과잉 매개변수화된 모델 (overparameterized models)의 가중치 공간에서 의미 있는 사전 분포를 도출하는 것은 매우 어려운 일로 알려져 있으며, 두 구성 요소 중 어느 하나라도 잘못 설정될 경우 정확도와 교정 (calibration) 성능이 심각하게 저하될 수 있습니다. 대규모 언어 모델 (large language models)과 같은 예측 모델의 급격한 발전에 영감을 받아, 예측 베이즈 (predictive Bayes)라고도 불리는 마팅게일 사후 분포 (martingale posterior)는 사전 분포-가능도 쌍을 예측 분포 (predictive distribution)로 대체하며, 예측 샘플을 반복적으로 추출하고 모델을 재적합 (refitting)함으로써 파라미터 불확실성을 복구합니다. 그러나 이를 직접적으로 연합 방식으로 구현하려면 클라이언트들이 로컬 데이터 세트를 공유해야 합니다. 본 논문은 각 클라이언트가 학습 가능한 소량의 데이터 임베딩 (data embeddings) 세트를 업로드하고 서버가 중앙에서 예측 샘플러 (predictive sampler)를 실행하는 일회성 (one-shot)의 극도로 병렬적인 (embarrassingly parallel) 프로토콜인 연합 마팅게일 사후 분포 (federated martingale posterior, FMP) 샘플링을 제안합니다. MNIST, CIFAR-10, CIFAR-100에 대한 실험 결과, FMP는 중앙 집중식 방식과 매우 유사한 성능을 보였으며, 합의 방식 (consensus-style)의 베이스라인 모델들에 비해 교정 (calibration) 성능을 유의미하게 향상시킴을 확인했습니다.