Free Decompression (FD) 와 대수적 스펙트럴 곡선

랜덤 행렬 이론 (Random Matrix Theory, RMT) 도구는 딥러닝 이론의 핵심이 되어, 일반화, 견고성, 스케일링 및 실패 모드를 모델링하는 메커니즘을 제공하기 위해 스펙트럴 정보를 사용합니다. 경험적 행동을 모델링할 수 있는 능력은 있지만, 실제 계산은 행렬 크기에 의해 제한되며, 이는 현실적인 모델이 아닌 너무 작은 모델에 대한 제약을 부과합니다. 이는 더 큰 모델의 속성을 작은 모델의 행동에서 추론하는 것을 동기화합니다. Free Decompression (FD) 는 최근 제안된 것으로, 행렬 크기를 가로지르는 스펙트럴 정보를 외삽하는 방법이지만, 현재는 현실적인 머신러닝 (ML) 모델에 구현을 허용하지 않는 강력한 가정에 의해 그 유용성이 제한되어 있습니다. 우리는 대수적 스펕트럴 곡선 이론 (Algebraic Spectral Curve Theory) 을 사용하여, Stieltjes 변환이 대수적 관계를 만족하는 스펙트럴 밀도에 대한 일반적인 FD 방법을 제공합니다. 이는 실용적으로 더 잘 성립할 가능성이 있는 모델링 가정입니다. 이 접근법은 FD 를 스펙트럴 곡선을 따라 진화하는 것으로 재구성하며, 쉽게 통합할 수 있습니다. 우리의 프레임워크는 현실 세계의 데이터와 인기있는 ML 모델의 특징인 여러 개 또는 다중 모달 (multi-modal) 벌크, 여러 스케일에서 존재하며 원자 (atoms) 를 포함하는 스펙트럴 밀도를 확장할 수 있게 합니다. 우리는 현대 ML 의 관심 있는 모델, 즉 신경망과 대규모 확산 모델과 관련된 헤시안 및 활성화 행렬에 대해 우리의 프레임워크의 효용을 입증했습니다.