데이터 공유 없이 중앙 성능 보장하는 분산 학습 방법론

요약

본 논문은 클라이언트가 로컬 데이터셋을 공유하지 않고도 중앙 집중식(centralized) 수준의 성능을 달성할 수 있는 새로운 분산 학습 패러다임을 제시합니다. 핵심은 '상대 엔트로피 정규화 (ERM-RER)' 프레임워크를 채택하고, 클라이언트 간에 로컬에서 얻은 '깁스 측정값(Gibbs measures)'만을 순차적으로 공유하는 것입니다. 이 깁스 측정값을 참조 측정값(reference measure)으로 활용하여 사전 정보(prior information)를 인코딩함으로써, 마치 모든 데이터에 접근한 중앙 집중식 학습과 동일한

핵심 포인트

• 로컬 데이터셋 공유 없이도 중앙 성능 달성이 가능하며, 이는 새로운 분산 학습 패러다임을 열어줍니다.
• 클라이언트들은 '상대 엔트로피 정규화 (ERM-RER)' 프레임워크를 사용하고, 깁스 측정값(Gibbs measures)을 순차적으로 공유합니다.
• 공유된 깁스 측정값은 다음 클라이언트의 학습에 참조 측정값(reference measure)으로 활용되어 사전 정보를 효과적으로 인코딩합니다.
• 중앙 성능 달성을 위해서는 정규화 계수(regularization factors)가 로컬 샘플 크기에 맞춰 특정 방식으로 스케일링 되어야 합니다.