PACZero: PAC-Private Fine-Tuning of Language Models via Sign Quantization

요약

PACZero는 대규모 언어 모델(LLM)의 미세 조정 과정에서 강력한 프라이버시를 유지하면서 높은 유틸리티를 달성하는 새로운 메커니즘입니다. 이 방법은 PAC-Private Zeroth-order 접근 방식을 사용하여, 공개된 정보가 특정 후보 집합이 비밀인지에 의존할 때만 상호 정보를 제한합니다. 특히 기울기(gradient)를 Sign-quantizing하여 '빈번한 일치(unanimity)' 단계에서 조건부 상호 정보를 0으로 만듦으로써 높은 프라이버시 수준을 달성합니다. 연구진은 PACZero의 두 가지 변형(PACZero-MI, PACZero-ZPL)을 제안하고, SST-2 및 SQuAD 데이터셋에서 OPT 모델을 LoRA 및 전체 파라미터 미세 조정에 적용하여 평가했습니다. 그 결과, 특히 PACZero-ZPL은 높은 프라이버시($I=0$)를 유지하면서 기존의 비프라이버시 방법론과 경쟁할 만한 우수한 성능(예: SST-2에서 88.99% 달성)을 보여주었습니다.

핵심 포인트

• PACZero는 LLM 미세 조정에 적용되는 PAC-Private Zeroth-order 메커니즘입니다.
• 이 기법은 기울기를 Sign-quantizing하여 '빈번한 일치' 단계에서 조건부 상호 정보를 0으로 만들어 높은 프라이버시를 보장합니다.
• 제안된 변형(PACZero-MI, PACZero-ZPL)을 통해 프라이버시와 유틸리티 간의 트레이드오프를 효과적으로 관리할 수 있습니다.
• 실험 결과, PACZero-ZPL은 $I=0$이라는 높은 프라이버시 제약 조건 하에서도 기존 방법론과 경쟁하는 우수한 성능을 달성했습니다.