트랜스포머 보안 추론의 셔플링 방어에 대한 (불-)보안성

요약

본 논문은 트랜스포머 모델의 암호학적 안전한 추론 과정에서 사용되는 '셔플링 방어(shuffling defense)'가 주장하는 것만큼 견고하지 않음을 보여줍니다. 연구진은 공통 순열과 다르게 섞인 활성화 값을 정렬하여 모델 가중치를 추출하는 새로운 공격 방법을 제안했습니다. Pythia-70m 및 GPT-2 실험을 통해, 이 공격이 매우 낮은 오차 범위에서도 성공적으로 작동하며 실제 환경에서 민감한 모델 정보를 복원할 수 있음을 입증했습니다.

핵심 포인트

• 트랜스포머 모델의 안전한 추론은 효율성 문제로 인해 클라이언트가 중간 활성화 값을 공개하는 방식으로 진행되어 왔습니다.
• 기존의 셔플링 방어는 노출된 활성화 값에 무작위 순열을 적용하여 공격자가 가중치를 추출하는 것을 막으려 했으나, 본 논문은 이 방어가 취약함을 입증했습니다.
• 제안된 공격은 공통 순열과 다르게 섞인 활성화 값을 정렬함으로써 모델 가중치(weights)를 성공적으로 복원할 수 있습니다.
• 실험 결과에 따르면, 이 공격은 매우 낮은 제곱 오차($10^{-9}$ ~ $10^{-6}$) 범위에서도 효과적이며, 실제 비용으로도 민감한 정보를 추출할 수 있음을 보여줍니다.