이제 당신은 (여전히) 나를 볼 수 있는가: LLM 내 회피형 스테가노그래피 페이로드 탐지

대규모 언어 모델(Large language models, LLMs)은 프롬프트에 포함된 비밀 정보를 유창하고 겉보기에 무해한 출력물로 인코딩하도록 미세 조정(Fine-tuned)될 수 있습니다. 이는 출력 수준의 스테가노그래피 분석(Steganalysis)으로는 탐지하기 어려운 스테가노그래피 유출(Steganographic exfiltration) 위험을 초래합니다. 최근 연구들은 내부 활성화(Internal activations)로부터 비밀 정보를 복구하는 선형 프로브(Linear probes)를 사용하여 기계론적 탐지(Mechanistic detection)를 제안했습니다. 본 연구에서는 이러한 방어 체계가 체계적으로 회피될 수 있음을 보여주는 동시에, 표적화된 데이터 수준의 개입(Data-level intervention)을 통해 탐지 가능성을 다시 회복할 수 있음을 보여줍니다.

먼저, 우리는 비선형 MLP 프로브(Non-linear MLP probe)를 포함하도록 탐지 설정을 확장합니다. 그 다음, Qwen3-8B, Llama-3.1-8B, Ministral-8B, Qwen3-14B, Phi-4-14B의 5가지 베이스 모델에 대해 스테가노그래피 트로잔(Steganographic trojans)을 적대적으로 미세 조정(Adversarially fine-tune)합니다. 결과적으로 생성된 모델들은 6개의 벤치마크에서 평균 18%의 성능 저하를 보이면서도, Ridge 프로브와 홀드아웃(Held-out) MLP 프로브를 모두 회피하는 동시에 5879%의 정확한 일치(Exact-match) 비밀 정보 복구율을 유지합니다.

이어서 우리는 이러한 회피에 대한 정보 이론적 특성(Information-theoretic characterization)을 제시합니다. 성공적인 회피는 복구 가능성(Recoverability)은 유지하면서, 콘텐츠 정렬된 표현(Content-aligned representation)으로부터 비밀 정보를 추출하는 저차 추출 가능성(Low-order extractability)을 감소시키며, 페이로드가 잔여 자유도(Residual degrees of freedom)와 시너지 상호작용을 하도록 강제합니다. 이는 이러한 잔여 자유도를 제한하는 재맥락화 데이터셋(Recontextualization dataset)의 필요성을 뒷받침합니다. 이 분포상에서, 5가지 회피형 트로잔 모두에 대해 Ridge 및 MLP 탐지 가능성이 복구되었습니다. 종합적으로, 우리의 연구 결과는 활성화 기반 스테가노그래피 탐지가 적응형 회피(Adaptive evasion)에 취약하다는 것을 보여주는 동시에, 이론에 기반한 평가 분포가 그렇지 않으면 숨겨져 있을 페이로드를 드러낼 수 있음을 보여줍니다.