중요도가 높은 역할에 배치된 언어 모델(Language models)은 특정 엔티티, 브랜드 또는 관점을 선호하여 대규모로 사용자의 의사결정을 유도할 잠재적 가능성이 있습니다. 이러한 선호 편향(preferential biases)은 모델의 공급망 내 어떤 행위자에 의해서도 유입될 수 있으며, 모델이 다른 모든 입력에 대해서는 수정되지 않은 베이스 모델과 동일하게 행동하면서 오직 관련 주제에서만 선호도를 드러낼 때 가장 위험합니다. 최근 연구에 따르면 이러한 편향은 의미론적으로 관련이 없는 데이터에 대한 컨텍스트 증류(context distillation)를 통해 전이될 수 있으며, 그 신호는 전적으로 소프트 로짓 분포(soft logit distribution)에 존재하여 텍스트 기반 검사로는 보이지 않는 상태로 남습니다. 그러나 방어자는 근본적인 비대칭성에 직면합니다. 편향 주제를 알지 못한다면, 생성된 텍스트, 내부 표현(internal representations), 또는 모델 가중치(model weights)를 조사하더라도 어떤 탐지 방법도 은밀한 선호 편향을 신뢰성 있게 드러낼 수 없습니다. 본 논문에서는 의심되는 모델과 베이스 모델 사이의 분포 변화(distributional shift)를 카트리지(cartridge, KV-cache prefix adapter)로 증류하여, 지배적인 발산(divergence)을 집중시키고 편향 신호를 생성된 텍스트로 증폭시킴으로써 숨겨진 편향을 드러내는 방법론인 Distill to Detect (D2D)를 소개합니다. 우리는 D2D가 은밀한 모델들의 숨겨진 편향을 여러 편향 유형에 걸쳐 신뢰성 있게 탐지될 수 있는 수준까지 성공적으로 증폭시킨다는 것을 보여줍니다. 또한 우리는 경험적 관찰을 바탕으로, 로짓 분포 변화의 Fisher-가중 투영(Fisher-weighted projection) 관점에서 D2D의 효능을 설명하는 이론적 프레임워크를 제안합니다. 프리픽스 튜닝(prefix-tuning) 어댑터의 용량 병목(capacity bottleneck)을 탐지 도구로 전환함으로써, D2D는 배포된 언어 모델의 숨겨진 행동을 감사(auditing)하기 위한 실질적인 빌딩 블록을 제공합니다.