적응형 표현을 이용한 함수적 경사 하강법 (Functional Gradient Descent with Adaptive

함수 최적화 문제 (Functional optimization problems)는 일반적으로 신경망 (neural network)과 같은 고정된 표현 (fixed representation)의 파라미터를 최적화함으로써 해결되며, 이는 훈련과 이론적 분석을 모두 어렵게 만드는 매우 비볼록한 (nonconvex) 손실 함수를 초래합니다. 흥미로운 대안은 함수적 경사 하강법 (functional gradient descent, FGD), 즉 함수 공간 (function space)에서의 직접적인 경사 하강법이며, 이는 강력한 수렴 결과의 이점을 얻고 깔끔한 이론을 허용합니다. 그러나 함수적 경사 (functional gradients)는 무한 차원 (infinite-dimensional)이기 때문에 완전히 계산하거나 메모리에 저장할 수 없으므로, FGD를 실제로 구현하기는 어렵습니다. 따라서 기존의 구현 방식은 고정된 근사 (fixed approximations)에 의존하며, 이는 근사 오차 (approximation error)를 유발합니다. 우리는 최적화 과정 동안 함수적 경사의 표현을 적응시키는, 이론적 근거를 갖춘 새로운 FGD 알고리즘을 제안합니다. 이 근사를 분석에 명시적으로 포함함으로써, 우리는 우리의 근사 방식과 관계없이 (매끄러운 손실 함수의 경우) 정지점 (stationary point)으로의 수렴과 (매끄러움 + Polyak-Lojasiewicz 유형 조건 하에서) 전역 최적해 (global minimizer)로의 수렴을 입증합니다. 우리가 알고 있는 바로는, 이것은 일반적인 설정에서 이러한 보장을 제공하는 최초의 구현 가능한 FGD 방법입니다. 우리는 회귀 (regression), 편미분 방정식 (PDEs)의 수치적 해법, 그리고 현대 컴퓨터 비전 (computer vision)에서 우리 방법의 효과를 입증합니다. 다양한 설정에 걸쳐, 우리 방법은 효율성과 정확도 측면에서 고정된 근사를 사용하는 FGD 및 신경망 (neural network) 베이스라인 모두를 일관되게 능가합니다.