우리는 피드포워드 네트워크 (feedforward networks), ResNets, 그리고 트랜스포머 (transformers)를 포함한 계층형 모델들을 각 층의 너비(width)를 $d = 3$, 즉 표현 공간으로서 $\mathbb{R}^3$로 제한하여 연구합니다. 이를 통해 신경망이 층을 거치며 저차원 위상 불변량 (low-dimensional topological invariants)을 어떻게 변화시키는지 추적할 수 있습니다. 거의 모든 위상 구조는 단순히 차원을 높임으로써 단순화되거나 심지어 자명해질 수 있습니다; 예를 들어, 어떤 매듭 (knot)이라도 $\mathbb{R}^4$에서는 풀린 매듭 (unknot)과 동일합니다. $\mathbb{R}^3$로 제한함으로써, 우리는 너비 (width)의 효과로부터 활성화 (activation)와 깊이 (depth)의 효과를 분리할 수 있을 뿐만 아니라, 시각화하기 용이한 공간에서 작업할 수 있습니다. 본 연구에서는 연결수 (linking number)에 집중하며, 링크 그룹 (link groups), Milnor의 $\bar{\mu}$-불변량 (Milnor's $\bar{\mu}$-invariants), 매듭 유형 (knot types), 주변 코보디즘 (ambient cobordisms)과 같은 다른 불변량들은 후속 연구로 미룹니다. 우리는 다음과 같은 통찰을 정당화하기 위해 완전한 증명과 실증적 실험을 제공합니다: 연결수 (linking numbers)를 변화시키는 능력으로 측정했을 때, ResNets의 층 건너뛰기 (layer-skipping) 기능은 트랜스포머의 어텐션 메커니즘 (attention mechanism)만큼 강력합니다; ResNets와 트랜스포머 모두 단조 활성화 (monotonic activations)를 사용하는 피드포워드 신경망보다 엄격하게 더 강력하며, 피드포워드 신경망은 다시 가역적이고 흐름 기반인 모델 (invertible and flow-based models)보다 더 강력합니다; 그러나 단조 활성화를 비단조 활성화 (nonmonotonic activation)로 교체하면 피드포워드 네트워크는 ResNets 및 트랜스포머와 동일한 표현력 클래스 (expressivity class)로 격상됩니다. 이러한 결과는 저차원 위상수학이 AI 아키텍처 설계를 안내하는 유용한 도구가 될 수 있음을 시사합니다. 우리는 또한 우리의 결과를 $d = 3$에서 임의의 $d > 3$으로 일반화합니다.