PACZero: PAC-Private Fine-Tuning of Language Models via Sign Quantization
요약
PACZero는 대규모 언어 모델(LLM)의 미세 조정 과정에서 강력한 프라이버시를 유지하면서 높은 유틸리티를 달성하는 새로운 메커니즘입니다. 이 방법은 PAC-Private Zeroth-order 접근 방식을 사용하여, 공개된 정보가 특정 후보 집합이 비밀인지에 의존할 때만 상호 정보를 제한합니다. 특히 기울기(gradient)를 Sign-quantizing하여 '빈번한 일치(unanimity)' 단계에서 조건부 상호 정보를 0으로 만듦으로써 높은 프라이버시 수준을 달성합니다. 연구진은 PACZero의 두 가지 변형(PACZero-MI, PACZero-ZPL)을 제안하고, SST-2 및 SQuAD 데이터셋에서 OPT 모델을 LoRA 및 전체 파라미터 미세 조정에 적용하여 평가했습니다. 그 결과, 특히 PACZero-ZPL은 높은 프라이버시($I=0$)를 유지하면서 기존의 비프라이버시 방법론과 경쟁할 만한 우수한 성능(예: SST-2에서 88.99% 달성)을 보여주었습니다.
핵심 포인트
- PACZero는 LLM 미세 조정에 적용되는 PAC-Private Zeroth-order 메커니즘입니다.
- 이 기법은 기울기를 Sign-quantizing하여 '빈번한 일치' 단계에서 조건부 상호 정보를 0으로 만들어 높은 프라이버시를 보장합니다.
- 제안된 변형(PACZero-MI, PACZero-ZPL)을 통해 프라이버시와 유틸리티 간의 트레이드오프를 효과적으로 관리할 수 있습니다.
- 실험 결과, PACZero-ZPL은 $I=0$이라는 높은 프라이버시 제약 조건 하에서도 기존 방법론과 경쟁하는 우수한 성능을 달성했습니다.
우리는 PACZero를 소개합니다. 이는 대규모 언어 모델의 미세 조정 (fine-tuning) 을 위해 $I(S^*; Y_{1:T})=0$ 에서 사용 가능한 유틸리티를 제공하는 PAC-Private Zeroth-order 메커니즘의 가족입니다. 이 프라이버시 제도는 멤버십 추론 공격 (MIA) 후속 성공률을 사전 확률로 제한하며, 이는 DP 프레임워크가 $\varepsilon=0$ 과 무한한 노이즈에서만 달성하는 MIA 저항 수준과 일치합니다. 아래 모든 DP-ZO 비교는 MIA 후속 수준에서 매칭됩니다. 핵심 통찰은 PAC 프라이버시가 공개된 정보가 어떤 후보 집합이 비밀인지에 의존할 때만 상호 정보를 부과한다는 것입니다. 집합 집계 제로 차분 (zeroth-order) 기울기를 Sign-quantizing 하면 빈번한 일치 (unanimity) 가 발생하며, 모든 후보 집합이 업데이트 방향에 동의하는 단계입니다. 이러한 단계에서 공개된 부호는 조건부 상호 정보를 0 으로 만듭니다. 우리는 프라이버시 - 유틸리티 트레이드 오프를 아우르는 두 가지 변형을 제안합니다: PACZero-MI (이진 공개에 대한 정확한 캘리브레이션 을 통한 예산제 MI) 와 PACZero-ZPL ($I=0$ 를 위한 불일치 단계의 균일 동전 던지기). 우리는 SST-2 와 SQuAD 에서 OPT-1.3B 와 OPT-6.7B 를 LoRA 와 full-parameter 트랙 모두에서 평가했습니다. SST-2 OPT-1.3B 전체 미세 조정에 $I=0$ 에서, PACZero-ZPL 은 ${88.99\pm0.91}$ 를 달성하며, 비프라이버시 MeZO 베이스라인 ($91.1$ FT) 과 2.1pp 이내입니다. 고 프라이버시 제임 $\varepsilon<1$ 에서 사용 가능한 유틸리티를 생성하는 이전 방법은 없으며, PACZero-ZPL 은 $I=0$ 에서 OPT-1.3B 와 OPT-6.7B 에서 경쟁력 있는 SST-2 정확도와 비자극적인 SQuAD F1 을 얻었습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기