연합 마팅게일 사후 샘플링 (Federated Martingale Posterior Sampling)

원문 발행 2026. 05. 19. 00:33원문 언어 영어AI 한국어 번역arXiv cs.LG 원문 보기

요약

연합 베이지안 신경망에서 사전 분포 설정의 어려움을 해결하기 위해 마팅게일 사후 분포 개념을 도입한 FMP(Federated Martingale Posterior) 샘플링 기법을 제안합니다. 클라이언트가 소량의 데이터 임베딩을 업로드하면 서버가 중앙에서 예측 샘플러를 실행하는 일회성 병렬 프로토콜을 통해 데이터 공유 없이도 높은 성능을 구현합니다. 실험 결과, MNIST 및 CIFAR 데이터셋에서 중앙 집중식 방식과 유사한 성능과 기존 베이스라인 대비 우수한 교정(calibration) 성능을 입증했습니다.

핵심 포인트

과잉 매개변수화된 모델에서 사전 분포 설정의 어려움을 예측 베이즈(predictive Bayes) 방식으로 해결
클라이언트의 로컬 데이터 공유 없이 소량의 데이터 임베딩만으로 연합 학습 가능
서버 중심의 예측 샘플러를 활용한 일회성(one-shot) 및 극도로 병렬적인 프로토콜 제안
기존 합의 방식(consensus-style) 모델 대비 모델의 교정(calibration) 성능 유의미하게 향상

연합 베이지안 신경망 (Federated Bayesian neural networks)은 가능도 (likelihood)와 함께 모델 파라미터에 대한 사전 분포 (prior)를 설정해야 합니다. 현대의 과잉 매개변수화된 모델 (overparameterized models)의 가중치 공간에서 의미 있는 사전 분포를 도출하는 것은 매우 어려운 일로 알려져 있으며, 두 구성 요소 중 어느 하나라도 잘못 설정될 경우 정확도와 교정 (calibration) 성능이 심각하게 저하될 수 있습니다. 대규모 언어 모델 (large language models)과 같은 예측 모델의 급격한 발전에 영감을 받아, 예측 베이즈 (predictive Bayes)라고도 불리는 마팅게일 사후 분포 (martingale posterior)는 사전 분포-가능도 쌍을 예측 분포 (predictive distribution)로 대체하며, 예측 샘플을 반복적으로 추출하고 모델을 재적합 (refitting)함으로써 파라미터 불확실성을 복구합니다. 그러나 이를 직접적으로 연합 방식으로 구현하려면 클라이언트들이 로컬 데이터 세트를 공유해야 합니다. 본 논문은 각 클라이언트가 학습 가능한 소량의 데이터 임베딩 (data embeddings) 세트를 업로드하고 서버가 중앙에서 예측 샘플러 (predictive sampler)를 실행하는 일회성 (one-shot)의 극도로 병렬적인 (embarrassingly parallel) 프로토콜인 연합 마팅게일 사후 분포 (federated martingale posterior, FMP) 샘플링을 제안합니다. MNIST, CIFAR-10, CIFAR-100에 대한 실험 결과, FMP는 중앙 집중식 방식과 매우 유사한 성능을 보였으며, 합의 방식 (consensus-style)의 베이스라인 모델들에 비해 교정 (calibration) 성능을 유의미하게 향상시킴을 확인했습니다.

AI 자동 생성 콘텐츠

원문 바로가기

연합 마팅게일 사후 샘플링 (Federated Martingale Posterior Sampling)

요약

핵심 포인트

댓글