대역폭 예산 하의 연합 언어 모델: 증류율 및 공형 커버리지

요약

본 논문은 데이터가 분산되어 있고 중앙 집중화할 수 없는 환경에서 대역폭 제한 하에 연합 언어 모델(Federated Language Models)을 훈련하는 이론적 한계를 탐구합니다. 연구진은 명시적인 '대역폭 예산'을 최상위 통계 매개변수로 사용하여, 기존 연구가 다루지 않았던 새로운 분석 도구인 FPLD와 FC-RAG 프로토콜을 제시했습니다. 주요 결과는 노드 수, 샘플 크기, 양자화 및 검색 대역폭에 동시에 의존하는 KL-일관성 비율과 분포 비의존적 주변 커버리지 경계를 제공하며, 이는 대역폭 제약이 모델 성능에 미치는 영향을 수학적으로 정량화합니다.

핵심 포인트

• 대역폭 예산(Bandwidth Budget)을 최상위 통계 매개변수로 다루는 연합 학습 이론을 제시했습니다.
• Federated Probe-Logit Distillation (FPLD)를 통해 대역폭 제약 하의 KL-일관성 비율을 분석했습니다.
• Federated Conformal RAG (FC-RAG) 프로토콜에서 검색 대역폭 여유분 $\Delta_{\mathrm{RAG}}$를 정의하고, 이것이 노드당 통계적 보장 경계를 제시합니다.
• 제시된 이론적 경계는 GPT-2 테스트베드를 사용한 소규모 실험을 통해 실제 언어 모델에서도 유효함을 보여주었습니다.