수직적 연합 학습 (Vertical Federated Learning)에서의 기대 이득 기반 에스컬레이션
요약
수직적 연합 학습(VFL)에서 통신 오버헤드를 줄이기 위해 기대 이득 기반의 선택적 에스컬레이션 프로토콜을 제안합니다. 예측 정확도 개선이 통신 비용을 정당화할 때만 임베딩 융합을 수행하여 효율성을 높입니다.
핵심 포인트
- VFL 추론 시 불필요한 통신 및 계산 오버헤드 감소
- 기대 이득 점수 추정을 통한 해석 가능한 라우터 제공
- 별도의 학습된 라우팅 네트워크 없이 보정된 사후 확률 활용
- 기존 베이스라인 대비 통신-정확도 트레이드오프 개선
협업 추론 (Collaborative inference)은 에이전트 간의 상호 보완적인 정보를 통합함으로써 예측 성능을 향상시킬 수 있지만, 모든 샘플에 협업 융합 (collaborative fusion)을 적용하는 것은 불필요한 통신 및 계산 오버헤드를 발생시킬 수 있습니다. 이러한 트레이드오프 (trade-off)는 클라이언트가 동일한 샘플에 대해 서로 다른 뷰 (views)를 관찰하며, 융합을 위해 일반적으로 서버로 중간 표현 (intermediate representations)을 전송해야 하는 수직적 연합 학습 (Vertical Federated Learning, VFL)에서 특히 중요합니다. 본 연구에서는 2라운드 VFL 추론 프로토콜에서의 선택적 에스컬레이션 (selective escalation)을 연구합니다. 이 프로토콜에서 저비용의 첫 번째 라운드는 클라이언트 사후 확률 (posteriors)로부터 예측을 생성하며, 두 번째 임베딩 융합 (embedding-fusion) 라운드는 최종 결정의 개선이 기대될 때만 호출됩니다. 우리는 라우팅 (routing)을 기대 이득 점수 추정 (expected-gain score estimation)으로 공식화합니다. 즉, 예측된 정확도 개선이 추가적인 통신 비용을 정당화할 때 샘플이 에스컬레이션됩니다. 제안된 분석적 점수는 보정된 풀링된 사후 확률 (calibrated pooled posterior)과 VFL 모델의 클래스별 신뢰도 추정치 (classwise reliability estimates)를 결합하며, 이 두 가지 모두 홀드아웃 보정 데이터 (held-out calibration data)로부터 얻어집니다. 이를 통해 별도로 학습된 라우팅 네트워크가 필요 없는 해석 가능한 라우터 (interpretable router)를 제공합니다. 통제된 테스트 시간 뷰 저하 (test--time view degradation) 설정을 포함한 다중 뷰 분류 벤치마크에서의 실험 결과, 제안된 라우터가 신뢰도 기반 (confidence-based), 학습된 이득 기반 (learned-gain-based), 그리고 유예 기반 (deferral-based) 베이스라인들에 비해 통신-정확도 트레이드오프 (communication-accuracy trade-off)를 개선함을 보여줍니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기