고정 크기 신경망을 이용한 임의 정확도의 Sobolev 근사

본 연구에서는 고정 크기 신경망(fixed-size neural networks)을 통해 임의의 정확도로 Sobolev 근사(Sobolev approximation)를 달성하기 위한 새로운 활성화 함수(activation functions)를 조사합니다. 먼저, 우리는 $\mathrm{EUAF}$ (Elementary Universal Activation Function)를 사용하는 고정 크기 신경망을 통해 $W^{2,\infty}((a,b)^d)$에 속하는 임의의 함수를 $W^{1,\infty}$-노름($W^{1,\infty}$-norm) 기준으로 임의의 정확도로 근사할 수 있음을 보여줍니다. 이 결과를 $s\in\mathbb{N}$에 대해 $W^{s,\infty}((a,b)^d)$로 확장하기 위해, 우리는 $\mathrm{DUAF}n$ (Differentiable Universal Activation Functions) 제품군으로부터 매끄러운 활성화 함수인 $\mathrm{DUAF}{\infty}$를 도입합니다. 우리는 $W^{s,\infty}((a,b)^d)$에 속하는 임의의 함수가 $\mathrm{DUAF}_{\infty}$로 활성화된 고정 크기 네트워크에 의해 $W^{s-1,\infty}$-노름에서 임의의 정확도로 근사될 수 있음을 증명합니다. 나아가 우리는 시그모이드 변형(sigmoidal variants)인 $\widetilde{\mathrm{DUAF}}_n$을 구축하고, 모든 $1\leq s\leq n$에 대해 고정 크기의 $\widetilde{\mathrm{DUAF}}_n$ 활성화 네트워크가 여전히 임의의 $f\in W^{s,\infty}((a,b)^d)$를 $W^{s-1,\infty}$-노름에서 임의의 정확도로 근사함을 보여줍니다. 이러한 모든 결과에서 너비(width)와 깊이(depth)의 경계는 명시적으로 계산되었으며, 제안된 활성화 함수들은 기초적(elementary)입니다.