서버는 무엇을 보는가? 분할 추론 (Split Inference) 시 대규모 언어 모델 (LLMs)의 개인정보 유출 이해

자원 제약이 있는 장치에 대규모 언어 모델 (LLMs)을 배포하는 것은 여전히 어려운 과제이며, 이는 계산 부담을 줄이고 중간 활성화 값 (intermediate activations)만을 전송하여 개인정보 보호를 강화하기 위해 모델을 클라이언트와 서버 간에 분할하는 분할 추론 (split inference)에 대한 관심을 불러일으키고 있습니다. 그러나 분할 추론의 개인정보 보호 능력, 특히 LLM의 맥락에서의 능력은 철저하게 조사되지 않았습니다. 이러한 공백을 메우기 위해, 우리는 클라이언트의 입력을 재구성하기 위해 중간 활성화 값 매칭 문제를 해결하는 ActInv를 소개합니다. 광범위한 평가를 통해 ActInv가 가우시안 노이즈 주입 (Gaussian noise injection) 및 활성화 희소화 (activation sparsification)와 같은 일반적인 섭동 기반 방어 (perturbation-based defenses)가 존재하는 상황에서도 높은 충실도의 재구성을 달성함을 입증합니다. 이러한 취약성을 체계적으로 이해하기 위해, 우리는 재구성에 대한 레이어의 고유한 저항성을 정량화하는 지표인 섭동 증폭 계수 (Perturbation Amplification Factor, PAF)를 개발합니다. 우리의 분석은 개인정보 취약성이 레이어 전체에 걸쳐 균일하지 않으며, 일부 레이어는 유출에 매우 취약한 반면 다른 레이어는 자연적인 저항력을 제공한다는 것을 보여줍니다. 나아가, 우리는 역전파 (backpropagation) 동안 재구성 오류를 최대화하도록 섭동 방향을 보정함으로써 방어 효과를 크게 향상시킬 수 있음을 입증합니다. 이러한 통찰을 바탕으로 우리는 PriPert를 설계하고 개인정보 보호, 유용성 및 계산 오버헤드를 포괄하는 종합적인 평가를 수행하여 그 효과를 입증합니다.