개인정보 보호를 강화한 클러스터형 연합 학습 프레임워크 PINA 제안

요약

본 논문은 데이터 이질성 문제를 해결하기 위해 클러스터링을 도입한 연합 학습(FL)에 차분 프라이버시(DP)를 결합하는 과정에서 발생하는 노이즈와 초기화 문제를 해결하는 새로운 프레임워크 PINA를 제안합니다. PINA는 2단계 구조로, 첫째 단계에서는 경량의 LoRA 어댑터를 사용해 업데이트 스케치를 공유하고 서버가 이를 이용해 견고한 클러스터 중심점(centroid)을 구축합니다. 둘째 단계에서는 정규성 기반 집계 메커니즘을 도입하여 수렴성과 강건성을 높입니다. 실험 결과, PINA는 기존의 최신 DP-FL 알고리즘 대비 평균

핵심 포인트

• PINA 프레임워크는 클러스터형 연합 학습(CFL)과 차분 프라이버시(DP)를 결합하는 과정에서 발생하는 노이즈 및 초기화 문제를 해결합니다.
• 첫 단계에서는 각 클라이언트가 경량의 LoRA 어댑터를 미세 조정하고 압축된 업데이트 스케치를 공유하여 서버가 견고한 클러스터 중심점을 구축할 수 있게 합니다.
• 두 번째 단계에서는 정규성 기반 집계 메커니즘을 도입하여 모델의 수렴성과 강건성을 향상시키며, 신뢰할 수 없는 서버에 대한 공식적인 프라이버시 보장을 유지합니다.