언어 모델 (Language models)에 대한 백도어 공격 (Backdoor attacks)은 점점 커지는 보안 우려를 야기하고 있지만, 트리거 시퀀스 (Trigger sequence)가 모델의 연산을 하이재킹하는 내부 메커니즘은 여전히 제대로 이해되지 않고 있습니다. 본 연구에서는 8B 파라미터 자기회귀 언어 모델 (Autoregressive language model)에서 언어 전환 백도어의 근간이 되는 회로 (Circuit)를 식별하였으며, 여기서 세 단어로 구성된 라틴어 트리거 (9개 토큰)는 영어 출력을 프랑스어로 리다이렉트 (Redirect)합니다. 우리는 이 회로를 세 단계로 분해합니다: (1) 초기 레이어 (Early layers)의 분산된 어텐션 헤드 (Distributed attention heads)가 트리거 토큰들을 마지막 시퀀스 위치 (Last sequence position)로 합성합니다; (2) 결과물인 신호는 모델의 자연스러운 언어 정체성 방향 (Natural language-identity direction)과 직교하는 서브스페이스 (Subspace)를 통해 중간 레이어 (Mid-layers)를 통과하며 전파됩니다; (3) 마지막 레이어의 MLP가 이 잠재적 신호 (Latent signal)를 프랑스어 로짓 (French logits)으로 변환합니다. 전체 회로는 단일 위치의 직렬 병목 (Serial bottleneck)을 통해 흐릅니다. 어떤 레이어에서든 해당 위치를 오염시키면 트리거를 완전히 완화할 수 있지만, 모델의 능력 또한 저해됩니다. 이러한 직교 잠재 인코딩 (Orthogonal latent encoding)은 중간 표현 (Intermediate representations)에서 언어와 유사한 신호를 찾는 방어 기제들이 이 트리거를 완전히 놓칠 수 있음을 시사합니다.