유령과 공개: 합성 데이터 감사를 위한 인과적 프레임워크

생성형 AI (Generative AI) 및 대규모 언어 모델 (LLMs)의 급격한 도입은 민감한 실제 데이터셋에 대한 프라이버시 보호 대안으로서 합성 데이터 (Synthetic Data)에 대한 관심을 불러일으켰습니다. 그러나 높은 효용성을 가진 합성 데이터를 생성하는 것은 종종 학습 코퍼스 (Training Corpus)로부터 개인 정보를 암기하고 다시 내뱉는(regurgitating) 위험을 수반합니다. 본 연구에서는 이러한 데이터 공개 (Data Disclosures)를 탐지하고 설명하기 위해 설계된 맞춤형 경험적 감사 프레임워크 (Empirical Auditing Framework)를 제시합니다. 우리의 프레임워크는 시스템이 사용자의 정보를 직접적으로 재현하는 "실제 공개 (True Disclosures)"와 시스템이 부수적으로 사용자의 데이터를 생성하는 "유령 공개 (Phantom Disclosures)"를 구분하는 메커니즘을 도입합니다. 입력 데이터를 학습 세트 (Training Set)와 홀드아웃 세트 (Holdout Set)로 분할하고 엄격한 통계적 가설 검정 (Statistical Hypothesis Testing)을 적용함으로써, 관찰된 공개가 제로 러닝 (Zero-learning) 또는 특정 차분 프라이버시 (Differential Privacy, DP) 경계와 같은 엄격한 프라이버시 기준선과 일치하는지 결정합니다. 결정적으로, 이 접근 방식은 모델 접근 (Model Access), 카나리 삽입 (Canary Insertion), 참조 모델 학습 (Reference Model Training)을 필요로 하지 않으며, 오직 합성 출력물과 홀드아웃 대조군 세트 (Held-out Control Set)만을 필요로 합니다. 우리는 이 프레임워크가 멤버십 추론 공격 (Membership Inference Attack)으로서 효과적으로 작동하며, 기존의 데이터 기반 감사 방법보다 더 타이트한 프라이버시 유출의 경험적 하한선 (Empirical Lower Bounds)을 제공함을 입증합니다. 우리의 접근 방식은 모델 불가지론적 (Model-agnostic)이며, 모든 합성 데이터 생성 메커니즘에 적용 가능하고, 섀도우 모델 (Shadow-model) 또는 카나리 기반 대안보다 수십 배 적은 계산 자원을 요구합니다.