심층 ReLU 신경망을 이용한 비등방성 및 혼합 매끄러운 함수의 근사 및 학습

본 논문은 심층 ReLU 신경망 (deep ReLU neural networks)이 매끄러운 함수 (smooth functions)를 얼마나 효율적으로 근사하고 학습할 수 있는지를 연구합니다. 오차를 $L^p([0,1]^d)$ 노름 (norm)으로 측정하고 근사기가 너비 $W$와 깊이 $L$을 가진 네트워크일 때, 최근 연구들은 Sobolev 임베딩 조건(embedding condition) $s/d>1/q-1/p$ 하에서 Besov 공간 $\mathcal{B}^s_{q,r}([0,1]^d)$에 대해 $\mathcal{O}((WL)^{-2s/d})$라는 매우 빠른 근사율 (approximation rate)을 증명했습니다. 이 근사율에 나타나는 차원의 저주 (curse of dimensionality)를 극복하기 위해, 우리는 이 결과를 비등방성 (anisotropic) 및 혼합 매끄러운 함수 (mixed smooth function) 클래스로 확장합니다. 우리는 임베딩 조건 $\tilde{s} > 1/q-1/p$ 하에서 비등방성 매끄러움 $\boldsymbol{s}=(s_1,\dots,s_d)$를 가진 비등방성 Besov 공간 $\mathcal{B}^{\boldsymbol{s}}{q,r}([0,1]^d)$에 대해 $\mathcal{O}((WL)^{-2\tilde{s}})$의 근사율을 확립합니다. 여기서 평균 매끄러움은 $\tilde{s} = (\sum{i=1}^d s_i^{-1})^{-1}$입니다. 혼합 매끄러움 $s>1/q-1/p$를 가진 혼합 매끄러운 Besov 공간 $\mathcal{MB}^s_{q,r}([0,1]^d)$의 경우, 로그 인자 (logarithmic factors)를 제외하면 $\mathcal{O}((WL)^{-2s})$의 근사율이 성립함을 보여줍니다. 이러한 결과들을 사용하여, 우리는 비등방성 Besov 함수들의 합성 (composition)에 대한 근사 경계 (approximation bounds) 또한 도출합니다. 응용 사례로서, 심층 ReLU 신경망이 광범위한 매끄러운 함수 클래스에 대해 로그 인자까지 포함하여 미니맥스 최적율 (minimax optimal rates)을 달성할 수 있음을 보여줍니다.