通用逼近定理是一类数学结论,表明只要具备足够的表示能力,某些类别的人工神经网络就能以任意精度逼近指定函数空间中的任何函数。一个经典版本指出,具有单个隐藏层、采用适当非线性激活函数且隐藏单元足够多的前馈网络,可以逼近有限维欧几里得空间中某个紧子集上的任意连续实值函数。这些结论讨论的是合适的网络参数是否存在;它们并未证明训练过程能够找到这些参数,也未证明所需网络规模很小,或网络能根据有限数据作出准确预测。
一个经典的数学表述
考虑一个网络,其输入为 ,具有一个包含 个单元的隐藏层,并采用线性输出:
其中:
- 是隐藏单元 的输入权重向量;
- 是该单元的偏置;
- 是该单元的输出权重;
- 是输出偏置;
- 是激活函数。
一种标准表述假定, 连续,且在整个实数轴上不是一个多项式。对于任意紧集 、任意连续函数 以及任意容许误差 ,都存在有限的宽度 和一组参数,使得
因此,在一致范数下,这一网络族在 中是稠密的;这里 表示 上连续实值函数构成的空间。
量词的顺序至关重要。先指定目标函数和所需精度,随后网络的宽度与参数可以依赖于这两者。该定理并不是说,一个有限网络就能表示所有连续函数,也不是说,某个固定宽度足以对所有目标函数实现任意精确的逼近。
对于向量值连续函数,可以分别逼近每个输出分量,再将得到的隐藏单元合并为一个多输出网络。
各项假设为何重要
非线性与非多项式激活函数
如果所有层都使用线性或仿射激活函数,那么多层复合后得到的仍然只是仿射函数。这类网络无法逼近任意非线性连续函数。
不过,对于固定的单隐藏层架构,仅有非线性还不足以保证通用逼近能力。如果 是次数为 的多项式,那么无论增加多少隐藏单元,每个 都是次数不超过 的多项式。在非退化区间或内部非空的定义域上,这种次数有界的函数族无法逼近所有连续函数。
相比之下,常见的连续非多项式激活函数满足上述经典条件。例如,逻辑斯谛 sigmoid 函数、双曲正切函数,以及修正线性单元:
ReLU 是分段多项式函数,但在整个实数轴上并不是一个单一的多项式。因此,它属于上述连续非多项式表述所涵盖的情形。
这些条件针对的是特定的网络族。如果允许网络深度增加,多项式激活函数未必受到同样的限制,因为增加网络层数可以提高所得多项式的次数。
偏置与输出结构
隐藏层偏置 使激活特征能够在输入域中平移。去掉偏置会改变网络可表示的函数类,并可能使其失去通用逼近能力。
例如,一个在所有位置都不设偏置的 ReLU 网络具有正齐次性:
这一约束使它无法在许多紧致定义域上逼近任意连续函数。
经典表述还允许输出系数取任意实数,并采用线性输出。限制系数的正负号、采用有界的输出激活函数,或对权重施加约束,都可能改变定理的结论。
紧致性与连续性
紧致性规定了要求达到相应精度的区域是一个有界闭集。经典结果并不能自动推出在整个 上的一致逼近,因为后者还要求控制距离原点任意远处的行为。
连续性限制了目标函数的类别。使用连续激活函数时,每个有限网络都是连续的,而连续函数的一致极限仍然连续。因此,在包含目标函数不连续点的紧致定义域上,这类网络无法以任意精度一致逼近该不连续目标函数。
其他逼近概念可以容纳不连续的目标函数,但需要不同的定理表述和假设。
历史发展
现代通用逼近理论形成于 20 世纪 80 年代末至 90 年代初的一系列密切相关的成果。
1989 年,乔治·西本科证明了一个奠基性的稠密性结果,针对的是使用连续 S 形激活函数的单隐藏层网络。在这里,S 形函数是指自变量分别趋于负无穷和正无穷时,极限值分别为 和 的函数。
同样在 1989 年,库尔特·霍尼克、麦克斯韦·斯廷奇科姆和哈尔伯特·怀特为多层前馈网络建立了广泛的逼近结果。后续研究进一步扩展了该理论所涵盖的激活函数和函数空间的范围。
1993 年,莫舍·莱什诺、弗拉基米尔·林、艾伦·平卡斯和希蒙·肖肯给出了一个重要的刻画:在适当的正则性假设下,通用逼近能力与非多项式激活函数相联系。对于连续标量激活函数,这就得到了人们熟悉的结论:对于宽度不受限制且带有偏置的单隐藏层网络,激活函数的非多项式性是其具有通用逼近能力的充要条件。
因此,“通用逼近定理”并不是一条具有唯一一组假设的定理,而是一系列相关稠密性定理的统称。
如何证明逼近能力
通用逼近属于逼近论的研究范畴;逼近论研究如何用较简单的函数族表示或逼近函数。
稠密性与分离论证
一种经典证明思路是,先假设网络特征的有限线性组合在 中不稠密。随后,泛函分析保证存在一个非零连续线性泛函,使其作用于每个这样的特征时都取零值。借助测度表示定理,这可以表述为:存在一个非零有限符号测度 ,满足
且对所有 和 都成立。
对于适当的激活函数,这些恒等式迫使 为零,与构造时的非零条件矛盾。因此,该特征族必然稠密。
这种方法证明了逼近网络的存在性,但未必给出高效构造该网络的方法。
构造性方法
另一些论证则利用局部化函数或分段定义的函数,显式构造逼近。例如,在一维情形下,有界区间上的每个连续分段线性函数都可以写成
其中 是分段节点。
有界区间上的连续函数可以用分段线性插值来逼近。线性项本身又可以用两个 ReLU 单元表示,从而得到一条直接证明一维单隐藏层逼近定理的途径。
高维构造必须处理各坐标之间的相互作用。除非目标函数具有可进一步利用的结构,否则构造规模可能迅速增长。
定理的变体
积分范数下的逼近
一致逼近控制的是定义域内所有位置上的最大误差。其他结果则使用 范数来度量误差:
其中 是给定的测度。
这类范数允许在测度足够小的集合上存在较大误差。因此,在对激活函数和测度作出适当假设后,网络族可以在包含不连续函数的空间中稠密。一致逼近与 逼近是不同的结论,不能混为一谈。
深而窄的网络
经典定理允许隐藏层宽度增加,同时保持较小的深度。另一些结果则允许增加深度,同时限制宽度。
对于 ReLU 网络,只要固定宽度足够大,随着深度增加,就能逼近紧致定义域上的连续函数。确切的宽度阈值取决于输入与输出维数、定义域、所用范数以及架构的具体约定。
这些结果对深度学习十分重要,但仅凭通用逼近能力,并不能证明深度具有优势。更有力的比较会考察:对于特定的目标函数类,浅层网络和深层网络各需要多少单元或参数。
导数的逼近
逼近函数值并不意味着自动逼近其斜率或高阶导数。一些定理在目标函数光滑性、激活函数正则性和误差范数满足适当条件时,证明了可以同时逼近函数及其指定的导数。
仅仅保证函数值的一致误差很小还不够:一个逼近函数可能始终接近目标函数,却同时快速振荡,其导数也可能与目标函数的导数相差很大。
定理不保证什么
高效的表示
该定理断言,有限规模的逼近网络确实存在,但并不保证其规模具有实际可行性。所需容量可能取决于容许误差、输入维数、目标函数的光滑性及其他性质。
对于广泛的函数类别,逼近会受到维数灾难的影响:达到指定精度所需的资源可能随维数极其迅速地增长。要获得更有利的逼近速率,通常需要对目标函数作出额外假设。
因此,定量逼近界比单纯的通用逼近结论更强,也能提供更多信息。这些界还可能考察权重大小和数值精度,而不只是参数数量。
成功的优化
良好参数的存在,并不意味着训练算法就能找到它们。神经网络训练是一个数学优化问题,其结果取决于目标函数、参数化方式、初始化、数据和优化过程。
反向传播用于计算梯度;通用逼近并不保证基于梯度的训练能够达到全局最优解,也不保证能在实际可承受的计算量内达到指定精度。
从有限数据中学习
该定理讨论的是在某个定义域上逼近目标函数。在监督学习中,可用的观测只有有限个,而且往往带有噪声。
模型可能非常贴合其训练数据,却在其他地方预测不佳。这是一个泛化(机器学习)问题,而不仅仅是表示能力的问题。通用逼近能力并不能解决过拟合、采样假设和正则化等问题。
在概念上,区分以下三者很有帮助:
- **逼近误差:**所选函数类本身的局限。
- **估计误差:**从有限数据中学习所引入的不确定性。
- **优化误差:**未能找到训练目标下可获得的最佳解。
通用逼近讨论的是在容量可以不断增加的极限情形下,第一类误差的表现。
外推与其他形式的通用性
在紧集上的准确性并不意味着在该集合之外也准确,也不能保证在分布偏移下的表现。
该定理也不同于图灵完备性。通用逼近关注的是在指定误差度量下,某个函数族在函数空间中的稠密性。图灵完备性关注的是,在适当的资源假设下,计算系统模拟任意计算的能力。任何一种性质本身,都不能保证高效学习、可靠推理,或在其形式化表述所规定的条件之外仍有准确表现。