대역폭 예산 하의 연합 언어 모델: 증류율 및 공형 커버리지

데이터가 분산되어 있고 중앙 집중화할 수 없는 대역폭 제한 노드에 걸쳐 있는 데이터로 언어 모델을 훈련하는 것은 임상 네트워크, 기업 지식 기반, 과학 컨소시엄에서 발생하는 설정입니다. 우리는 데이터가 노드 전반에 걸쳐 분산되어 있어야 하는 영역을 연구하고, 명시적인 대역폭 예산 하에서 원칙적으로 달성 가능한 통계적 보장이 무엇인지 질문합니다. 우리의 목표는 배포 준비가 된 시스템을 시연하는 것이 아니라, 증명 가능하게 가능한 것을 특성화하는 것입니다. 기존 이론은 훈련 시간 일관성 또는 추론 시간 보정(calibration) 중 하나를 독립적으로 다루며, 어느 것도 대역폭을 최상위 통계 매개변수로 삼지 않습니다. 우리는 우리의 결과를 위한 분석 도구로, 훈련에 대한 연합 프로브-로그잇 증류(Federated Probe-Logit Distillation, FPLD)와 추론에 대한 연합 공형 RAG(Federated Conformal RAG, FC-RAG) 두 가지 프로토콜을 분석합니다. 우리의 첫 번째 주요 결과는 노드 수 $K$, 노드당 샘플 크기 $n$, 양자화 예산 $B$, 프로브 세트 크기 $m$, 그리고 어휘 크기 $V$에 동시에 의존하는 FPLD의 명시적 고확률 KL-일관성(KL-consistency) 비율입니다. 여기서 대역폭은 지수적으로 소멸하는 양자화 항을 통해서만 진입합니다. 우리의 두 번째 주요 결과는 FC-RAG를 위한 분포 비의존적 주변 커버리지(marginal-coverage) 경계이며, 이 프로토콜의 새로운 검색-대역폭 여유분 $\Delta_{\mathrm{RAG}} = f_{\max}\sqrt{K^{-2}\sum_i v(B_i)}$은 노드당 검색 대역폭을 최상위 통계 매개변수로 만들며, $K$개의 노드를 가로질러 산술적으로 집계할 때 노드당 균일 영역에서 여유분이 $K^{-1/2}$만큼 감소합니다.

Pinsker 유형의 보조정리는 이 두 경계를 종단 간 커버리지 보장으로 구성합니다. 합성 실험은 경계 매개변수(parameters)를 따라 예측된 스케일링을 검증하며, GPT-2 테스트베드에서의 소규모 실험은 정성적인 대역폭-정확도 트레이드오프가 실제 언어 모델에서도 유지됨을 보여줍니다. 배포 규모의 경험적 평가는 범위를 벗어납니다.