数值微分是根据函数在离散点上的取值,计算其导数近似值的方法。当导数的显式表达式无法获得、不便求值,或者不如直接从测量数据得到的估计值实用时,就会用到数值微分。作为数值分析的核心课题之一,数值微分包括有限差分公式、对插值函数和拟合曲线求导、谱方法,以及专门处理含噪数据的技术。其根本难点在于,微分会放大微小的变化:缩小采样点间距虽能提高近似精度,却也可能同时增大舍入误差或测量噪声的影响。
基本有限差分公式
对于足够光滑的函数 f,它在 x 处的导数由差商的极限定义。数值微分用非零步长 h 下的计算代替这一极限。
最简单的公式是前向差分:
Dh+f(x)=hf(x+h)−f(x),
以及后向差分:
Dh−f(x)=hf(x)−f(x−h).
将采样值展开为泰勒级数,可得
Dh+f(x)=f′(x)+2hf′′(x)+O(h2),
Dh−f(x)=f′(x)−2hf′′(x)+O(h2).
因此,两者都具有一阶截断误差:只要相关导数保持有界,其近似误差的主导项就与 h 成正比。这里用大O记号描述 h 趋于零时误差的渐近量级。
中心差分使用两侧的采样值:
Dh0f(x)=2hf(x+h)−f(x−h).
这种对称布局消去了一阶误差主导项:
Dh0f(x)=f′(x)+6h2f′′′(x)+O(h4).
因此,它具有二阶精度。对于光滑函数,中心差分公式通常比一阶单侧差分公式更精确;但在无法取得一侧函数值的边界处,不能直接使用中心差分。
一个二阶前向差分公式为
f′(x)≈2h−3f(x)+4f(x+h)−f(x+2h).
高阶导数也可以用类似方法估计。二阶导数的标准中心差分公式为
f′′(x)≈h2f(x+h)−2f(x)+f(x−h),
其截断误差为 O(h2)。这些公式也为求解微分方程的有限差分法提供了局部导数近似。
差分模板与公式构造
差分模板是导数近似所使用的采样位置及其权重的集合。m 阶导数的一般近似公式具有如下形式:
f(m)(x)≈hm1j=0∑najf(x+cjh),
其中,cj 指定采样点的偏移量,aj 为无量纲权重。
泰勒展开表明,在适当的光滑性假设下,若公式的各阶矩满足
j=0∑najcjk={m!,0,k=m,0≤k≤m+p−1,k=m.
则该公式的误差为 O(hp)。
这些条件使公式对相应的低次多项式给出精确结果。增加采样点数,可以构造更高阶的公式。例如,五点中心差分模板给出
f′(x)≈12hf(x−2h)−8f(x−h)+8f(x+h)−f(x+2h),
其截断误差为 O(h4)。
另一种构造方式利用插值:构造通过各采样点的多项式,再在目标位置对该多项式求导。这种方法能自然地处理不等间距采样。对于互不相同的节点 x0,…,xn,将插值多项式写为
p(x)=j=0∑nf(xj)ℓj(x),
其中 ℓj 为拉格朗日基多项式。于是
f(m)(x∗)≈p(m)(x∗)=j=0∑nf(xj)ℓj(m)(x∗).
形式上的高阶精度本身并不保证结果更好。较宽的差分模板可能跨越局部光滑性假设不再适用的区域,其权重也可能放大采样值中的误差。
截断误差、舍入误差与步长
对计算机求值的函数进行微分时,主要有两类误差相互制约:
- 截断误差:用有限公式代替极限运算所造成的误差。
- 求值误差与舍入误差:由函数值不精确以及浮点运算引起的误差。
如果每次函数求值的绝对误差具有典型量级 δ,一阶导数的差分公式通常会将该误差放大,放大倍数与 1/h 成正比。一个实用的近似误差模型为
E(h)≈Ahp+hBδ,
其中,p 为截断误差的阶数,A,B 取决于函数和差分模板。
随着步长减小,第一项减小,第二项增大。当 A 和 B 均为正时,使该模型中的误差最小可得
hopt≈(pABδ)1/(p+1).
在常见的尺度假设下,如果 δ 与机器精度 ϵ 成正比,则特征步长满足以下标度关系:
hopt∝{ϵ1/2,ϵ1/3,first-order differences,second-order central differences.
这些是标度规律,而不是普遍适用的步长选取规则。合适的有量纲步长还取决于输入、函数值和高阶导数的尺度。
当 h 很小时,将两个几乎相等的函数值相减会发生消去,使这些值中已有的误差凸显出来。最终,x+h 的浮点表示甚至可能与 x 完全相同。因此,减小步长并不一定能得到更准确的导数。
对于 m 阶导数,采样值中的扰动通常会按 h−m 的量级放大。因此,高阶导数的计算尤其困难。这种敏感性是微分算法数值稳定性的核心问题。
外推与自适应估计
理查森外推法通过消去已知的误差主导项来改进近似。若
D(h)=f′(x)+Chp+O(hp+r),
则
R(h)=2p−12pD(h/2)−D(h)
可消去 Chp 项。对于光滑函数,其一阶导数中心差分的展开式只含 h 的偶次幂,因此这种构造可将截断误差的阶数从二阶提高到四阶。
反复外推可以从一系列不同步长的结果中得到高阶估计。自适应算法会比较这些估计值,评估它们的一致性,并在满足误差准则或进一步细化不再改善结果时停止。
这些过程以所假设的误差展开式成立为前提。舍入误差、噪声、间断以及不光滑行为,都可能使估计结果无法进入预期的渐近区间。两个估计值相符,只能说明它们具有一致性,并不能普遍证明其准确性。
含噪数据的微分
对于测量样本
yj=f(xj)+ηj,
扰动 ηj 不一定会随采样间距的减小而减小。因此,除非同时控制噪声,否则在更细的网格上,数值微分反而可能变得不可靠。
例如,如果 x−h 和 x+h 处的误差相互独立,且均值均为零、方差均为 σ2,那么噪声对一阶导数中心差分估计的贡献具有如下方差:
Var(2hη+−η−)=2h2σ2.
这种增长反映了一个更深层的问题:在度量函数值的常用范数下,微分是一个无界运算。扰动
e(x)=δsin(ωx)
的振幅为 δ,但其导数的振幅为 δω。因此,任意微小但快速振荡的扰动,都可能造成很大的导数误差。从含噪观测中恢复导数,因而常被视为一个逆问题。
常用方法包括:
- 局部多项式拟合:在某个邻域内用最小二乘法拟合低次多项式,再对拟合的多项式求导。该邻域起到平均作用,而不是要求精确插值通过每个含噪数据点。
- 平滑样条:拟合光滑曲线,同时对过度粗糙施加惩罚,再对拟合曲线求导。
- 正则化导数恢复:在与观测数据的一致性和光滑性或结构性惩罚之间取得平衡,以估计导数。
- 频域滤波:在微分之前或过程中,抑制分辨不足的高频分量。
这些方法引入了正则化和偏差-方差权衡。更强的平滑能够减轻噪声放大,却也可能削弱真实的快速变化。平滑尺度与采样间距并不相同,但两者会相互影响。
谱微分
对于光滑周期函数,可以利用傅里叶系数计算导数。若
f(x)=k=−∞∑∞f^ke2πikx/L,
则在允许逐项求导的条件下,
f′(x)=k=−∞∑∞L2πikf^ke2πikx/L.
对于采样数据,离散傅里叶变换给出有限三角表示的系数。求导时,将每个系数乘以相应的频率因子;再通过逆变换,得到各采样点上的导数值。快速傅里叶变换使这一过程能够高效实现。
对于光滑周期函数,谱微分可以非常迅速地收敛;在适当的解析性假设下,还可实现指数收敛。它的局限包括高频噪声放大、采样误差与混叠误差,以及将非周期函数表示为周期函数时产生的边界伪影。非周期谱方法则采用其他基函数,包括合适的正交多项式。
复步长微分
复步长微分用于估计实值函数的导数,要求该函数具有适当的解析函数延拓,且能够在复数自变量处求值。对于实数 x,
f(x+ih)=f(x)+ihf′(x)−2h2f′′(x)−6ih3f′′′(x)+⋯,
因此
f′(x)≈hImf(x+ih),
其截断误差为 O(h2)。
与普通差分不同,这个公式不需要将相近的实函数值相减。因此,在兼容的实现中,它避开了有限差分中主要的消去机制,允许使用非常小的步长。
这种方法的适用范围有限。绝对值、复共轭、提取实部等运算,以及某些依赖分支选择的计算,都可能破坏所需的解析性质。数值代码还必须在整个求值过程中保留微小的虚部。
多元函数的导数与应用
对于标量函数 f:Rn→R,有限差分通过逐个扰动坐标来估计梯度的各个分量。对于向量值函数 F:Rn→Rm,同样的过程可用于估计其雅可比矩阵的各列:
J:,j(x)≈hF(x+hej)−F(x),
其中,ej 是第 j 个坐标向量。沿给定方向施加扰动,可以在不构造完整矩阵的情况下估计乘积 Jv。
在已获得基准点函数值之后,前向差分对每个输入坐标还需额外求值一次;中心差分通常需要两次。若已知稀疏结构,有时可通过精心选择同时施加的扰动来降低计算成本。
应用领域包括数学优化、敏感性分析、软件中的导数校验、根据实验观测估计变化率,以及偏微分方程的离散化。
数值微分不同于自动微分。自动微分使用链式法则在程序中传播导数,而不是根据相隔有限距离的输入值估计导数。它避免了有限差分的截断误差,但需要能够访问合适的计算表示。对于黑箱函数和观测数据,数值微分仍然很有用。
结果的解读与局限
数值导数是特定分辨率下的估计,不能代替对可微性的判定。在尖角、间断点或未被充分分辨的过渡区域,即使相应的经典导数不存在,有限公式仍可能返回一个数值。
例如,对于 f(x)=∣x∣,在零点处的中心差分对任意正数 h 都等于零,尽管该函数在该处并不存在导数。单侧差分则能揭示两侧斜率不一致。
因此,可靠性不仅取决于公式的形式阶数。相关因素还包括局部光滑性、采样点的几何分布、边界附近函数值的可获取性、函数求值误差、噪声水平,以及导数具有实际意义的物理或计算尺度。