믹솔로지의 기술: 대규모 언어 모델(LLMs)의 개인정보 보호를 위한 분할 학습(Split Learning)에서의 Mixup 기반 난독화

분할 학습 (Split Learning)은 자원이 제한된 사용자가 원시 데이터 (raw data)를 로컬에 유지하면서 계산 집약적인 레이어 (layers)를 서버로 오프로딩함으로써 대규모 언어 모델 (LLMs)을 훈련할 수 있는 실용적인 패러다임을 제공합니다. 그러나 기존의 개인정보 보호 분할 학습 방법들은 여전히 유용성 (utility), 개인정보 보호 (privacy), 효율성 (efficiency), 그리고 안정성 (stability) 사이의 어려운 트레이드오프 (trade-off) 문제에 직면해 있습니다. 구체적으로, 이러한 방법들은 종종 상당한 유용성 저하를 겪거나, 고도화된 데이터 재구성 공격 (data reconstruction attacks)에 취약하며, 과도한 계산 및 통신 오버헤드 (overhead)를 발생시키거나, 서로 다른 태스크 (tasks)에 대해 불안정한 성능을 보이기도 합니다. 본 논문에서는 LLM을 위한 새로운 Mixup 기반 개인정보 보호 분할 학습 프레임워크인 MIXGUARD를 제안합니다. MIXGUARD는 토큰 수준 난독화 (token-level obfuscation), 표현 수준 난독화 (representation-level obfuscation), 그리고 적응형 그래디언트 섭동 (adaptive gradient perturbation) 메커니즘을 도입하며, 이들은 서버로의 개인정보 유출을 방지하는 동시에 유용한 학습 신호를 보존하기 위해 공동으로 작동합니다. 기술적으로, MIXGUARD는 먼저 공개 데이터셋에서 경량화된 보정 모델 (calibration model)을 구축하여 근사화된 타겟 표현 (target representation)을 정교화한 다음, 개인 데이터에 대한 개인정보 보호 미세 조정 (privacy-preserving fine-tuning) 과정 중에 이 모델을 적용합니다. 우리는 다양한 LLM 제품군, 모델 크기, 아키텍처 (architectures), 그리고 미세 조정 전략에 걸쳐 4개의 분류 태스크 (classification tasks)와 4개의 텍스트 생성 태스크 (text generation tasks)에 대해 광범위한 실험을 수행했습니다. 결과에 따르면 MIXGUARD는 비분할 훈련 (non-split training) 베이스라인과 유사한 모델 유용성을 보존하며, 최신 데이터 재구성 공격에 대해 기존의 분할 학습 방어 방법들보다 일관되게 강력한 개인정보 보호를 달성하고, 적응형 공격 (adaptive attack) 설정 하에서도 견고함을 유지함을 보여줍니다.