양의 정부호 행렬에 대한 DNN용 congruence 기반 아키텍처의 표현력

본 연구는 대칭 양의 정부호 행렬 (symmetric positive-definite matrices)을 분류하기 위한 신경망 아키텍처를 연구하며, 입력 행렬의 좌우에 (직사각형일 수 있는) 가중치 행렬 $W$와 그 전치 행렬을 곱하는 congruence-like 레이어에 초점을 맞춥니다. 이러한 레이어는 유명한 SPDNet의 핵심을 이루며, 양의 정부호 데이터의 차원 축소 (dimensionality reduction)를 위해 독립적으로 사용되어 왔습니다. 우리는 $W$에 흔히 부과되는 (준)직교성 (semi-orthogonality) 제약이 이러한 레이어의 표현력 (expressivity)을 제한한다는 것을 보여줍니다. 즉, 특정 활성화 함수 (activation functions)의 경우, 결과적인 아키텍처가 하나의 은닉층 (one-hidden-layer)과 동일한 수준으로 붕괴됩니다. 이러한 표현력의 부족은 준직교 $W$를 사용하는 congruence-like 레이어에서의 스펙트럼 다양성 (spectral diversity) 상실에서 비롯되며, 이는 Poincaré의 분리 정리 (Poincaré's separation theorem)의 직접적인 결과입니다. 그런 다음 우리는 최종 분류기 (classifier)의 선택을 검토하며, 여러 리만 분류기 (Riemannian classifiers)를 비교하고 congruence-like 레이어에 의해 생성된 특징 맵 (feature maps)과의 호환성을 논의합니다.