通用近似原理及证明-为什么神经网络可以拟合任意函数
通用近似定理（Universal Approximation Theorem）表明： 一个至少有一个隐藏层的神经网络【输入层-隐藏层-输出层】，同时要求激活函数有挤压性质，如 Sigmoid 函数、ReLU 函数，且输出层是线性的。这样的神经网络在隐藏层神经元足够多的情况下，能以任意的精度去近似任何一连函数。
证明：
Step1. 问题界说：设F是一个界说在n维单位立方体 [ 0 , 1 ] n ^n n上的一连函数族， C ( [ 0 , 1 ] n ) C(^n) C(n)表示上的一连函数空间，对于 f ∈ F f \in F f∈F，我们盼望用一个神经网络来迫近这个函数。
Step2. 构造单层前馈神经网络：输入 x = ( x 1 , x 2 , ⋯ , x n ) ∈ [ 0 , 1 ] n x = (x_1, x_2, \cdots, x_n) \in ^n x=(x1,x2,⋯,xn)∈n，输出为y，隐藏层有m个神经元，激活函数为 σ \sigma σ，输出层为线性函数y， w i w_i wi是输出权重， v i , j v_{i,j} vi,j是输入权重， b i b_i bi是偏置，则输出函数可表示为，其实 w i w_i wi是我们的要学习的参数
y = ∑ i = 1 m w i σ ( ∑ j = 1 n v i j x j + b i ) y = \sum_{i = 1}^{m} w_{i} \sigma \left( \sum_{j = 1}^{n} v_{ij} x_{j}+b_{i} \right) y=i=1∑mwiσ(j=1∑nvijxj+bi)
Step3. 构造丧失函数：
E = ∫ [ 0 , 1 ] n ( y − f ( x ) ) 2 d x E = \int_{^n} (y - f(x))^2 dx E=∫n(y−f(x))2dx
Step4. Weierstrass 迫近定理表明对于任意给定的在闭区间上一连的函数，可以用 多项式函数来迫近。由于激活函数 σ \sigma σ是一连的， ∀ ϵ > 0 , ∃ p ( x ) , s.t. ∣ σ ( x ) − p ( x ) ∣ < ϵ , ∀ x ∈ R \forall \epsilon > 0, \exists p(x) \text{ }, \text{ s.t. }|\sigma(x)-p(x)|<\epsilon, \forall x\in\mathbb{R} ∀ϵ>0,∃p(x) , s.t. ∣σ(x)−p(x)∣<ϵ,∀x∈R
进而化简误差函数和目标函数：
y = ∑ i = 1 m w i p ( ∑ j = 1 n v i j x j + b i ) E = ∫ [ 0 , 1 ] n ( ∑ i = 1 m w i p ( ∑ j = 1 n v i j x j + b i ) − f ( x ) ) 2 d x y = \sum_{i = 1}^{m} w_{i}p(\sum_{j = 1}^{n} v_{ij}x_{j}+b_{i}) \\ E = \int_{^n} \left( \sum_{i = 1}^{m} w_{i}p \left( \sum_{j = 1}^{n} v_{ij}x_{j}+b_{i} \right) - f(x) \right)^2 dx y=i=1∑mwip(j=1∑nvijxj+bi)E=∫n(i=1∑mwip(j=1∑nvijxj+bi)−f(x))2dx
Step5. 由于 f f f是一连函数， p p p是多项式函数，所以函数 ∑ i = 1 m w i p ( ∑ j = 1 n v i j x j + b i ) − f ( x ) \sum_{i = 1}^{m} w_{i}p\left(\sum_{j = 1}^{n} v_{ij}x_{j}+b_{i}\right)-f(x) ∑i=1mwip(∑j=1nvijxj+bi)−f(x)是一连函数。根据一连函数在闭区间上的性质(Weierstrass迫近定理)，对于任意的 ϵ > 0 \epsilon > 0 ϵ>0，存在一个正数 M M M，使得对于所有的 x ∈ [ 0 , 1 ] n x\in ^{n} x∈n
∣ ∑ i = 1 m w i p ( ∑ j = 1 n v i j x j + b i ) − f ( x ) ∣ < ϵ 2 \left|\sum_{i = 1}^{m} w_{i}p\left(\sum_{j = 1}^{n} v_{ij}x_{j}+b_{i}\right)-f(x)\right| < \frac{\epsilon}{2} i=1∑mwip(j=1∑nvijxj+bi)−f(x) <2ϵ
绝对值小于，则去绝对值号可得到 ∫ [ 0 , 1 ] n ( f ( x ) − f ( x ′ ) ) d x < ϵ 2 \int_{^n} (f(x) - f(x')) \, dx < \frac{\epsilon}{2} ∫n(f(x)−f(x′))dx<2ϵ 得证。其实本质就是根据微分法将界说域区间分别为多少的小立方体，那么在每个小立方体上都可以用一个多项式函数 p i p_i pi来迫近 f ( x ) f(x) f(x)在该小立方体的上取值，将这些多项式函数组合即可得到y。
Step6. 终极可以使得对于所有的 x ∈ [ 0 , 1 ] n x \in ^n x∈n，有 ∣ y − f ( x ) ∣ < ϵ \vert y - f(x) \vert < \epsilon ∣y−f(x)∣<ϵ，其中 ϵ \epsilon ϵ是一个任意小的正数，表示迫近的精度。得证神经网络可以以任意精度迫近任意非线性函数。
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]