텐서 네트워크 (Tensor networks)는 거대 신경망을 압축하기 위한 효율적인 표현 방식을 제공합니다. 형태 (shapes)와 위상 (topologies)을 신중하게 설계함으로써, 메모리 및 계산 비용을 크게 줄일 수 있습니다. 그러나 거대 파운데이션 모델 (foundation models)의 경우, 그 엄청난 규모와 비구조적인 가중치 분포 (weight distributions)로 인해 내재된 저차원 구조 (low-rank structures)를 식별하는 것은 여전히 어려운 과제로 남아 있습니다. 본 논문에서는 인덱스 순서 지정 (index ordering)을 통해 대상 텐서 내의 고유한 저차원 구조를 발견하는 적응형 텐서화 (adaptive tensorization) 방법을 제안합니다. 가중치 (weight) 및 KV-캐시 (KV-cache) 압축에 대한 실험 결과, 베이스라인 (baselines) 대비 향상된 재구성 품질 (reconstruction quality)을 입증하였습니다.