지도 미세 조정 (Supervised Finetuning)된 모델로부터 개인 식별 정보 (PII)의 재구성

요약

본 논문은 지도 미세 조정(SFT)된 모델이 학습 데이터에 포함된 개인 식별 정보(PII)를 유출할 수 있는 위험성을 처음으로 연구합니다. 의료 및 법률 분야의 다회차 Q&A 데이터셋을 구축하여 공격자의 추론 능력을 평가하였으며, 기존 방식보다 뛰어난 성능을 보이는 새로운 디코딩 알고리즘인 COVA를 제안합니다.

핵심 포인트

• SFT 데이터셋에 포함된 민감한 PII가 모델을 통해 재구성될 수 있는 프라이버시 위험 존재
• 의료 및 법률 도메인의 다회차 사용자 중심 Q&A 데이터셋을 통한 현실적인 유출 평가 수행
• 접두사 기반 공격(prefix-based attacks) 환경에서 PII 재구성을 위한 새로운 알고리즘 COVA 제안
• 공격자의 부분적인 지식만으로도 PII 재구성 성공률이 크게 높아질 수 있음을 확인