동질적 심층 네트워크에서의 지속 학습 수렴성

우리는 동질적 모델 (homogeneous models)에서의 약한 규제화된 지속 분류 (weakly regularized continual classification)를 태스크 마진 집합 (task margin sets)으로의 순차적 투영 (sequential projections)으로 규정합니다. 이 결과는 정적 (stationary, 단일 태스크) 심층 모델 또는 지속적 선형 모델 (continual linear models)로 제한되었던 이전의 분석들을 일반화합니다. 우리는 데이터에 대해서는 선형적이지만 파라미터에 대해서는 비선형적인 단순한 모델의 경우에도 전역 수렴 (global convergence)이 일반적으로 실패함을 보여줍니다. 그럼에도 불구하고, 비볼록 투영 이론 (nonconvex projection theory)의 결과들을 활용하여, 우리는 무작위 및 순환적 태스크 시퀀스 (random and cyclic task sequences) 하에서 국소 선형 수렴 (local linear convergence)을 보장하는 동질적 심층 네트워크의 정칙성 특성 (regularity properties)을 식별합니다. 마지막으로, 우리는 분석을 지속적 회귀 (continual regression)로 확장하여 동질적 모델을 위한 프레임워크를 통합합니다.