기본 전방-후방 분할 (FBS) 유도 네트워크의 심층 레이어 한계 및 안정성 분석 (II): 학습 문제

지난 10년 동안 반복적 최적화 기법 (Iterative optimization schemes) 및 수치적 상미분/편미분 방정식 (ODEs/PDEs)으로부터 유도된 딥 언폴딩 신경망 (Deep unfolding neural networks)이 데이터 과학 분야에서 많은 관심을 끌어왔습니다. 그중에서도 수많은 중요한 네트워크 아키텍처가 기본적인 전방-후방 분할 (Forward-backward-splitting, FBS) 알고리즘으로부터 구축되었습니다. 본 논문에서는 직접적인 파라미터 완화 (Parameter relaxations)를 통합하여 원래의 FBS 알고리즘으로부터 언롤링 (Unrolled)된 아키텍처인 가장 기본적인 FBS 유도 네트워크에 대한 연구를 이어갑니다. 이전의 전방 시스템 분석에서의 차분/미분 포함 (Difference/differential inclusion) 정식화에 따라, 여기서는 해당 학습 문제 (Learning problems)의 몇 가지 이론적 측면을 고려합니다. 몇 가지 완만한 가정 하에, 우리는 기본 FBS 유도 네트워크의 훈련 문제 (Training problem)가 심층 레이어 한계 시스템 (Deep-layer limit system)의 학습 문제로 일반적인 수렴 성질을 가짐을 입증하며, 이는 네트워크의 최적 학습 파라미터의 임의의 클러스터 점 (Cluster point)이 심층 레이어 한계 시스템의 학습 문제에 대한 해라는 것을 보여주는 $\Gamma$-수렴 ($\Gamma$-convergence) 논증을 함의합니다. 또한 이러한 학습 문제의 섭동 안정성 (Perturbation stabilities)에 대한 정성적 분석도 제시됩니다. 우리의 주요 일반 수렴 결과를 검증하기 위해 간단한 수치 실험이 수행되었습니다.