계층 구조를 이해해야 하는 작업으로 학습된 변환기 (transformers) 에서는 이 계층 구조가 잔류 스트림 (residual stream) 의 기하학적 구조와 후입선출 (last-in, first-out) 순서를 유지하는 스택 유사한 주의 패턴 (stack-like attention patterns) 에서 구별되어 표현됨을 발견해 왔다. 그러나 이러한 표현들이 실제로 인과적으로 사용되거나 단순히 해석 가능 (decodable) 한지에 대해서는 여전히 불분명하다. 우리는 계층적 진실 (hierarchical ground truth) 이 명시적인 Dyck 언어 (균형 잡힌 괄호 순서를 나타내는 형식 언어) 로 학습된 변환기에서 이 격차를 조사한다. 잔류 스트림과 주의 패턴에 대한 탐지 (probing) 와 개입 (intervening) 을 통해 우리는 깊이, 거리, 스택 상단 신호가 모두 해석 가능하지만 그 인과적 역할은 분화됨을 발견한다. 구체적으로, 참된 스택 상단 위치로의 주의를 가리면 장거리 정확도가 급격히 떨어지는 반면, 저차원 잔류 스트림 부분공간을 제거 (ablate) 하는 것은 상대적으로 적은 영향을 미친다. 이러한 결과는 템플릿화된 자연어 설정으로도 확장되며, 관련 계층적 변수가 알려진 통제된 환경에서도 해석 가능성 만이 인과적 사용을 의미하지는 않음을 시사한다.