더미(Dummies)를 활용한 접근: 관측 가능한 카운트 및 절단된 배치를 이용한 프라이버시 증폭

차분 프라이버시 확률적 경사 하강법 (Differentially Private Stochastic Gradient Descent, DP-SGD)의 많은 실질적인 구현 환경에서 서버는 데이터를 배치(batches) 단위로 처리합니다. 이 배치를 무작위로 샘플링하는 것은 프라이버시 증폭 결과(privacy amplification results)를 통해 더 나은 프라이버시 경계를 확보할 수 있게 합니다. 포아송 샘플링 (Poisson sampling)과 무작위 할당 (random allocation)을 포함하여 증명 가능한 프라이버시 증폭을 제공하는 대부분의 샘플링 방식은 가변적인 배치 크기(variable batch sizes)를 초래합니다. 이러한 방식들의 프라이버시 보장은 배치 크기가 노출되지 않아야 한다는 것을 전제로 합니다. 분산 환경에서, 집계 작업을 수행하는 서버나 통신 트래픽을 관찰하는 모든 당사자는 이 배치 크기를 학습할 수 있습니다.

더 나아가, 중앙 집중식 환경과 분산 환경 모두에서 메모리 및 계산 제약 조건으로 인해 각 배치가 특정 최대 크기 $s$를 가져야 할 수 있으며, 이는 해당 한계를 초과할 경우 배치를 절단(truncation)해야 함을 의미합니다. 이러한 절단은 프라이버시 손실을 상당히 증가시킬 수 있음이 알려져 있습니다.

본 논문에서는 이 두 가지 문제에 대해 무작위로 생성된 '더미 점 (dummy points)'의 개수를 사용하여 배치 크기를 사적으로 처리하고, 심지어 절단 상황에서도 프라이버시 보장을 유지하는 간단한 메커니즘을 제시합니다. 우리는 이 메커니즘이 분산 환경에서 구현하기 쉽다는 것을 입증하며, 포아송 샘플링과 무작위 할당 모두에 대해 일반적인 분석을 제공합니다. 우리의 분석은 효율적이고 비교적 타이트한 프라이버시 회계(privacy accounting)를 지원하도록 설계되었습니다. 또한 서브샘플링(subsampling)을 통해 카운트 공개의 프라이버시를 효과적으로 증폭시키며, 기대되는 더미 점의 개수는 음이 아닌 노이즈를 사용하여 (민감도-1) 배치 크기를 직접 사적으로 처리하는 데 필요한 양보다 점근적으로 작습니다.

절단된 배치를 가진 포아송 샘플링의 경우, 우리는 우리의 메커니즘이 최근 Ganesh (2025)가 제시한 직접적인 절단 회계 방식보다 더 나은 프라이버시-효율성 트레이드오프를 달성함을 경험적으로 입증합니다.