연합 학습 (Federated Learning)을 위한 타입 지정 텐서 언어 (A Typed Tensor Language)

연합 학습 (Federated Learning) 및 분석 (Analytics)은 동일한 수학적 형태를 공유할 때조차 종종 별개의 프로토콜들의 집합으로 묘사되곤 합니다. 그 형태란 클라이언트 로컬 텐서 연산 (client-local tensor computation), 공유 상태 (shared state)로의 병합 가능한 집계 (mergeable aggregation), 그리고 공유 전용 후처리 (shared-only post-processing)를 의미합니다. 본 논문에서는 이러한 구조를 공식화하는 타입 지정 텐서 언어 (typed tensor language)를 소개합니다. 이 언어는 기록 (records)이 추적 가능한 레코드 축 (record axis)을 따라 클라이언트 전체에 분할되어 있는 연합 텐서 (federated tensors)와, 전역적으로 사용 가능한 공유 텐서 (shared tensors)를 구분합니다. 이 언어의 의미론 (semantics)은 참조 객체로만 사용되는 가상 전역 텐서 (virtual global tensor)와의 비교를 통해 정의됩니다. 주요 결과는 공유 상태 인수분해 이론 (shared-state factorization theory)입니다. 우리는 타입 지정된 1라운드 프로그램 (typed one-round programs)이 클라이언트 수 및 레코드 수와 무관한 크기를 가진 고정 차원 공유 상태 (fixed-dimensional shared state)를 통해 인수분해됨을 보여줍니다. 이 크기는 클라이언트 로컬 텐서 표현식 (client-local tensor expressions)으로부터 계산되며 클라이언트 간에 병합됩니다. 또한 우리는 역 표현 가능성 (converse representability) 결과도 증명합니다. 인코더 (encoder)와 디코더 (decoder)가 해당 언어로 표현 가능한 인수분해는 타입 지정된 1라운드 프로그램에 의해 실현되며, 이 대응 관계는 라운드 간 상태 (cross-round state)가 공유되는 반복 프로그램 (iterative programs)으로 확장됩니다. 이는 인코딩 (encode), 병합 (merge), 디코딩 (decode) 절차로 표현될 수 있는 언어 내 연산에 대한 공식적인 설명을 제공합니다. 그런 다음 우리는 학습을 위한 미분 가능한 파편 (differentiable fragment)을 개발합니다. 레코드당 손실 (per-record loss)과 레코드당 그래디언트 (per-record gradient)가 클라이언트 로컬 텐서 표현식으로 표현된다면, 전역 그래디언트 (global gradient)는 연합 그래디언트 텐서 (federated gradient tensor)의 레코드 축 합산 (record-axis summation)으로 표현됩니다. 이는 서버 측 그래디언트 하강법 (server-side gradient descent) 및 공유 선형 대수 2차 업데이트 (shared-linear-algebra second-order updates)를 위한 타입 지정된 반복 프로그램을 생성합니다. 이 프레임워크는 고정 차원 공유 상태를 통해 통신이 이루어지는 광범위한 클래스의 연합 학습 연산을 특징짓습니다.