FedAttr: Towards Privacy-preserving Client-Level Attribution in Federated LLM

요약

본 연구는 분산 학습(FL) 환경에서 데이터 소유권을 보호하기 위한 새로운 클라이언트 레벨 귀속 프로토콜인 FedAttr을 제안합니다. 기존의 워터마크 기반 검정 방식은 중앙 집중식 LLM 파인튜닝에 초점을 맞추었으나, 여러 사용자 간 협력적인 FL 환경에서는 적용이 어려웠습니다. FedAttr은 쌍부집합차분 메커니즘과 미분 점수 산출을 결합하여 프라이버시를 유지하면서도 워터마크된 데이터로 학습한 클라이언트를 정확하게 식별할 수 있습니다.

핵심 포인트

• FedAttr은 분산 학습(FL) 환경에 특화된 클라이언트 레벨 귀속 프로토콜입니다.
• 쌍부집합차분 메커니즘을 사용하여 프라이버시를 유지하며 워터마크된 클라이언트를 식별합니다.
• 이론적으로 제한된 상호 정보 누설($O(d^*/N)$)을 보장하여 강력한 프라이버시 보호를 제공합니다.
• 실험 결과, 기존 베이스라인 대비 높은 TPR과 낮은 FPR을 달성하며 오버헤드가 낮습니다.