트랜스포머 모델의 암호학적 안전한 추론은 클라이언트가 최종 출력만 학습하고 서버가 클라이언트의 입력에 대해 아무것도 알지 못하도록 보장합니다. 그러나 비선형 계층을 안전하게 계산하는 것은 상당한 통신 라운드와 데이터 전송이 필요하기 때문에 여전히 주요 효율성 병목 현상입니다. 이 문제를 해결하기 위해, 기존 연구들은 클라이언트에게 중간 활성화 값을 공개하여 비선형 연산이 평문에서 계산되도록 허용합니다. 이러한 접근법은 효율성을 크게 향상시키지만, 활성화 값을 노출함으로써 공격자가 모델 가중치를 추출할 수 있게 합니다. 이러한 위험을 완화하기 위해, 기존 연구들은 랜덤으로 섞인 활성화 값만 클라이언트에 공개하는 셔플링 방어 (shuffling defense) 를 사용합니다. 본 논문에서는 셔플링 방어가 과거에 주장된 것만큼 견고하지 않음을 보여줍니다. 우리는 공통된 순열과 다른 방식으로 섞인 활성화 값을 정렬한 후 이를 이용하여 모델 가중치를 추출하는 공격을 제안합니다. Pythia-70m 과 GPT-2 실험에서 제안된 공격은 제곱 오차 (mean squared errors) 가 $10^{-9}$ 에서 $10^{-6}$ 까지 범위를 갖는 경우 섞인 활성화 값을 정렬할 수 있음을 보여줍니다. 쿼리 비용이 약 1 달러인 경우, 공격자는 오라클 가중치와 비교하여 L1-노름 차이가 $10^{-4}$ 에서 $10^{-2}$ 까지 범위를 갖는 모델 가중치를 복원할 수 있습니다.