FedAttr: Towards Privacy-preserving Client-Level Attribution in Federated LLM

워터마크 방사성 검정 방식의 방법은 모델이 워터마크된 문서로 학습되었는지 여부를 감지할 수 있으며, 대형 언어 모델 (LLM) 의 파인튜닝에서 데이터 소유권 보호를 위한 핵심 도구로 자리 잡았습니다. 기존 연구들은 중앙집중식 LLM 파인튜닝에서의 효과성을 입증했습니다. 그러나 이 유형의 방법은 여러 가지 도전을 안고 있으며, 서로 다른 사용자 간에 프라이빗 데이터에서 협력적으로 LLM 을 파인튜닝하는 데 널리 적용되는 패러다임인 분산 학습 (FL) 에서 아직 충분히 탐구되지 않았습니다. FL 은 주로 안전한 집계 (SA) 를 통해 프라이버시를 보장하며, 이는 서버가 업데이트를 집계할 수 있도록 하면서 클라이언트의 업데이트를 프라이빗하게 유지합니다. 이 메커니즘은 프라이버시를 보호하지만 워터마크된 문서로 학습한 클라이언트를 식별하는 것을 어렵게 만듭니다. 본 연구에서는 FL 을 위한 새로운 클라이언트 레벨 귀속 프로토콜인 FedAttr 을 제안합니다. FedAttr 은 쌍부집합차분 (paired-subset-difference) 메커니즘을 통해 워터마크된 데이터로 학습한 클라이언트를 식별하며, SA 와 FL 성능의 프라이버시 보장을 유지합니다. FedAttr 은 세 단계로 진행됩니다: (i) 두 개의 SA 쿼리를 차분하여 각 클라이언트의 업데이트를 추정하고, (ii) 미분 점수 (differential scoring) 를 통해 워터마크 검출기에서 점수를 산출하며, (iii) Stouffer 방법을 통해 라운드 간 점수를 결합합니다. 우리는 FedAttr 이 각 클라이언트의 업데이트에 대한 편향되지 않은 추정치를 생성하며, 제한된 상호 정보 누설 (즉, $O(d^*/N)$ 퍼-라운드 업데이트) 을 있음을 이론적으로 보여줍니다. 또한, FedAttr 은 100% TPR 와 0% FPR 를 달성하며, FL 학습 시간 대비 6.3% 오버헤드만으로도 모든 베이스라인보다 최소 44.4% 더 높은 TPR 또는 19.1% 더 낮은 FPR 을 달성합니다. Ablation studies 는 FedAttr 이 프로토콜 파라미터와 구성에 대해 견고함을 입증합니다.