반복적인 파라미터 공간 노이즈 탈출: 하이퍼네트워크를 이용한 차분 프라이버시 (Differentially Private) 학습

신경망의 차분 프라이버시 (Differentially Private, DP) 학습은 학습 과정 전반에 걸쳐 파라미터 공간 (parameter space)에 고차원 노이즈를 반복적으로 주입하는 DP-SGD와 같은 경사 기반 (gradient-based) 방식이 요구하는 방대한 양의 노이즈로 인해 종종 어려움을 겪습니다. 본 논문에서는 파라미터 공간에서의 반복적인 최적화 (iterative optimization)를 피하는 DP 학습을 위한 새로운 프레임워크를 제안합니다. 프라이버시가 보호된 경사 (privatized gradients)를 사용하여 타겟 모델을 업데이트하는 대신, 우리는 공개 데이터셋 (public datasets)으로 학습된 하이퍼네트워크 (hypernetwork)를 사용하여 프라이빗 데이터셋 (private dataset)을 타겟 모델의 파라미터로 매핑합니다. 구체적으로, 각 예제는 저차원 표현 (low-dimensional representation)으로 임베딩되며, 이 임베딩들은 집계 및 섭동 (perturbed)되어 DP 데이터셋 임베딩을 얻게 되고, 하이퍼네트워크는 이 노이즈가 섞인 임베딩으로부터 타겟 모델 파라미터를 생성합니다. 프라이버시 노이즈가 저차원 데이터셋 표현에 단 한 번만 주입되기 때문에, 우리의 접근 방식은 노이즈의 부정적인 영향을 크게 줄일 수 있습니다. 우리는 합성 설정 (synthetic setting)에서 고정된 프라이버시 예산 (privacy budget) 하에, 우리 방식에 의해 생성된 모델이 DP-SGD로 학습된 모델보다 더 높은 유용성 (utility)을 달성함을 이론적으로 보여줍니다. 또한, 우리는 이 방식을 확산 모델 (diffusion models)의 LoRA 미세 조정 (fine-tuning)에 적용하였으며, DP-SGD 및 기타 공개 데이터 가이드 방식(public-data-guided methods)으로 학습된 LoRA 모델보다 더 낮은 FID를 달성함을 보여줍니다.