딥 신경망은 다항 시간 내에 평가할 수 있지만 경사 하강법(gradient descent)으로는 다항 시간에 학습할 수 없는 최악의 목표값(worst-case targets)을 포함할 만큼 충분히 표현력이 높습니다. 그럼에도 불구하고 실제 작업에서는 잘 학습되는 경향이 있어, 현실 세계의 목표값이 어떤 비일반적인 구조를 가지고 있는지에 대한 의문을 제기합니다. 기존의 대리 모델(surrogate models)들은 이 질문을 던질 수 없습니다. 왜냐하면 그들이 어려운 목표값을 아예 갖지 못하거나(딥 선형 네트워크), 그러한 목표값을 효율적으로 평가할 수 없기 때문입니다(커널 방법, 무한 너비 극한). 우리는 트리 텐서 네트워크(tree tensor networks, TTNs)를 연구합니다. 이 모델 클래스는 딥 선형 네트워크와 터커 분해(Tucker decompositions)를 일반화하는 것입니다. 우리는 TTNs가 임의의 리드-원스 부울 공식(read-once Boolean formulas)을 포함하며, 따라서 신경망과 동일한 메커니즘 하에서 경사 하강법으로는 다항 시간에 학습할 수 없는 다항 크기의 목표값을 포함한다는 것을 보여줍니다. 그럼에도 불구하고, 우리는 모든 실현 가능한 목표값에 대해 그 손실 지형(loss landscapes)이 조건적으로 양성(conditionally benign)임을 증명합니다: 최소-노름인 모든 지역 최솟값(local minimum)은 전역 최솟값(global). 따라서 놀랍게도, 나쁜 지역 최솟값이 TTNs에서 일반적인 문제와 최악의 경우 문제 사이를 구별하는 요소가 아닙니다. 대신, TTNs에서의 학습 난이도는 고차 퇴화 안장점(high-order degenerate saddle points)에서 발생할 수 있으며, 우리는 이것이 랭크 부족(rank-deficiency)에 의해 야기됨을 보여줍니다. 이는 패리티 함수(parity function)의 사례 연구를 통해 탐구되며, TTNs가 지형 기하학(landscape geometry)을 계산적 난이도와 연관시킬 잠재력을 보여줍니다.