섭동된 심층 행렬 분해에서의 암묵적 규제화: 스펙트럼 조건 및 안정성

본 논문은 타겟 행렬이 노이즈 행렬에 의해 오염된 섭동된 심층 행렬 분해 (perturbed deep matrix factorization)에서 저계수 암묵적 규제화 (low-rank implicit regularization)의 안정성을 연구합니다. 우리는 먼저 노이즈가 없는 설정에서 경사 하강법 (gradient descent)이 저계수 단계 (low-rank phase)를 나타내는 충분한 스펙트럼 조건 (spectral conditions)을 도출합니다. 이러한 조건은 타겟 스펙트럼 (target spectrum), 초기화 (initialization), 그리고 스텝 사이즈 (step size)가 어떻게 공동으로 비어 있지 않은 저계수 구간 (low-rank interval)의 존재를 결정하는지 보여줍니다. 이어서 우리는 섭동된 경사 하강법 역학 (perturbed gradient descent dynamics)을 분석하여, 수렴 보장 (convergence guarantees)을 증명하고 섭동이 반복 복잡도 (iteration complexity)와 고유값 복구 (eigenvalue recovery)에 어떻게 영향을 미치는지 정량화합니다. 마지막으로, 우리는 저계수 단계가 섭동의 크기에 대한 명시적인 의존성을 가지며 섭동 하에서도 지속됨을 보여줍니다. 수치 실험 (Numerical experiments)은 이러한 이론적 발견을 뒷받침합니다.