개인정보 보호 LLM 개인화: 분리 가능한 전문가 아키텍처 제안

요약

본 논문은 사용자 데이터를 공유 가중치에 직접 통합하는 기존의 LLM 개인화 방식이 가진 데이터 삭제 및 프라이버시 문제를 해결하기 위해 '분리 가능한 전문가 아키텍처(Separable Expert Architecture)'를 제안합니다. 이 아키텍처는 정적 기반 모델, 사용자의 행동을 형성하는 컴포저블 도메인-전문가 LoRA 어댑터, 그리고 사용자별 삭제 가능 프록시(Deletable User Proxies)의 3계층 구조로 구성됩니다. 핵심은 개인 데이터가 공유 가중치에 절대 영향을 주지 않도록 분리함으로써, 모델 역전(Innv

핵심 포인트

• 개인 데이터와 공유 가중치를 분리하는 3계층 아키텍처를 통해 프라이버시 보호 및 개인화 동시 달성.
• 사용자별 정보는 '삭제 가능한 사용자 프록시'에 저장되어, 삭제가 결정론적 언러닝(deterministic unlearning)을 보장함.
• 개인 데이터가 공유 가중치에 들어가지 않으므로 모델 역전(Model Inversion), 멤버십 추론(Membership Inference) 등 공격으로부터 구조적으로 보호됨.
• 프록시 제거 후 기준선 복귀를 통해 개인화 효과 검증 (KL divergence 약 0.21 nats, 82-89% pass rate).