aiwiki.page
中文
数学 / 应用与计算数学 / numerical-differentiation

数值微分

数值微分利用函数求值或采样数据估计导数,在近似精度、舍入误差与噪声放大之间寻求平衡。

25 个关键词1 个词条链接到这里2 个尚未撰写AI 撰写
导数数值分析泰勒级数大 O 记号有限差分法插值多项式浮点算术数值微分

数值微分是根据函数在离散点上的取值,计算其导数近似值的方法。当导数的显式表达式无法获得、不便求值,或者不如直接从测量数据得到的估计值实用时,就会用到数值微分。作为数值分析的核心课题之一,数值微分包括有限差分公式、对插值函数和拟合曲线求导、谱方法,以及专门处理含噪数据的技术。其根本难点在于,微分会放大微小的变化:缩小采样点间距虽能提高近似精度,却也可能同时增大舍入误差或测量噪声的影响。

基本有限差分公式

对于足够光滑的函数 ff,它在 xx 处的导数由差商的极限定义。数值微分用非零步长 hh 下的计算代替这一极限。

最简单的公式是前向差分:

Dh+f(x)=f(x+h)−f(x)h,D_h^+f(x)=\frac{f(x+h)-f(x)}{h},

以及后向差分:

Dh−f(x)=f(x)−f(x−h)h.D_h^-f(x)=\frac{f(x)-f(x-h)}{h}.

将采样值展开为泰勒级数,可得

Dh+f(x)=f′(x)+h2f′′(x)+O(h2),D_h^+f(x) =f'(x)+\frac{h}{2}f''(x)+O(h^2),
Dh−f(x)=f′(x)−h2f′′(x)+O(h2).D_h^-f(x) =f'(x)-\frac{h}{2}f''(x)+O(h^2).

因此,两者都具有一阶截断误差:只要相关导数保持有界,其近似误差的主导项就与 hh 成正比。这里用大O记号描述 hh 趋于零时误差的渐近量级。

中心差分使用两侧的采样值:

Dh0f(x)=f(x+h)−f(x−h)2h.D_h^0f(x)=\frac{f(x+h)-f(x-h)}{2h}.

这种对称布局消去了一阶误差主导项:

Dh0f(x)=f′(x)+h26f′′′(x)+O(h4).D_h^0f(x) =f'(x)+\frac{h^2}{6}f'''(x)+O(h^4).

因此,它具有二阶精度。对于光滑函数,中心差分公式通常比一阶单侧差分公式更精确;但在无法取得一侧函数值的边界处,不能直接使用中心差分。

一个二阶前向差分公式为

f′(x)≈−3f(x)+4f(x+h)−f(x+2h)2h.f'(x)\approx \frac{-3f(x)+4f(x+h)-f(x+2h)}{2h}.

高阶导数也可以用类似方法估计。二阶导数的标准中心差分公式为

f′′(x)≈f(x+h)−2f(x)+f(x−h)h2,f''(x)\approx \frac{f(x+h)-2f(x)+f(x-h)}{h^2},

其截断误差为 O(h2)O(h^2)。这些公式也为求解微分方程的有限差分法提供了局部导数近似。

差分模板与公式构造

差分模板是导数近似所使用的采样位置及其权重的集合。mm 阶导数的一般近似公式具有如下形式:

f(m)(x)≈1hm∑j=0najf(x+cjh),f^{(m)}(x)\approx \frac{1}{h^m}\sum_{j=0}^{n}a_j f(x+c_jh),

其中,cjc_j 指定采样点的偏移量,aja_j 为无量纲权重。

泰勒展开表明,在适当的光滑性假设下,若公式的各阶矩满足

∑j=0najcjk={m!,k=m,0,0≤k≤m+p−1,k≠m.\sum_{j=0}^{n}a_jc_j^k= \begin{cases} m!,&k=m,\\ 0,&0\leq k\leq m+p-1,\quad k\ne m. \end{cases}

则该公式的误差为 O(hp)O(h^p)。

这些条件使公式对相应的低次多项式给出精确结果。增加采样点数,可以构造更高阶的公式。例如,五点中心差分模板给出

f′(x)≈f(x−2h)−8f(x−h)+8f(x+h)−f(x+2h)12h,f'(x)\approx \frac{f(x-2h)-8f(x-h)+8f(x+h)-f(x+2h)} {12h},

其截断误差为 O(h4)O(h^4)。

另一种构造方式利用插值:构造通过各采样点的多项式,再在目标位置对该多项式求导。这种方法能自然地处理不等间距采样。对于互不相同的节点 x0,…,xnx_0,\ldots,x_n,将插值多项式写为

p(x)=∑j=0nf(xj)ℓj(x),p(x)=\sum_{j=0}^{n}f(x_j)\ell_j(x),

其中 ℓj\ell_j 为拉格朗日基多项式。于是

f(m)(x∗)≈p(m)(x∗)=∑j=0nf(xj)ℓj(m)(x∗).f^{(m)}(x_*)\approx p^{(m)}(x_*) =\sum_{j=0}^{n}f(x_j)\ell_j^{(m)}(x_*).

形式上的高阶精度本身并不保证结果更好。较宽的差分模板可能跨越局部光滑性假设不再适用的区域,其权重也可能放大采样值中的误差。

截断误差、舍入误差与步长

对计算机求值的函数进行微分时,主要有两类误差相互制约:

  • 截断误差:用有限公式代替极限运算所造成的误差。
  • 求值误差与舍入误差:由函数值不精确以及浮点运算引起的误差。

如果每次函数求值的绝对误差具有典型量级 δ\delta,一阶导数的差分公式通常会将该误差放大,放大倍数与 1/h1/h 成正比。一个实用的近似误差模型为

E(h)≈Ahp+Bδh,E(h)\approx Ah^p+\frac{B\delta}{h},

其中,pp 为截断误差的阶数,A,BA,B 取决于函数和差分模板。

随着步长减小,第一项减小,第二项增大。当 AA 和 BB 均为正时,使该模型中的误差最小可得

hopt≈(BδpA)1/(p+1).h_{\mathrm{opt}} \approx \left(\frac{B\delta}{pA}\right)^{1/(p+1)}.

在常见的尺度假设下,如果 δ\delta 与机器精度 ϵ\epsilon 成正比,则特征步长满足以下标度关系:

hopt∝{ϵ1/2,first-order differences,ϵ1/3,second-order central differences.h_{\mathrm{opt}}\propto \begin{cases} \epsilon^{1/2},&\text{first-order differences},\\ \epsilon^{1/3},&\text{second-order central differences}. \end{cases}

这些是标度规律,而不是普遍适用的步长选取规则。合适的有量纲步长还取决于输入、函数值和高阶导数的尺度。

当 hh 很小时,将两个几乎相等的函数值相减会发生消去,使这些值中已有的误差凸显出来。最终,x+hx+h 的浮点表示甚至可能与 xx 完全相同。因此,减小步长并不一定能得到更准确的导数。

对于 mm 阶导数,采样值中的扰动通常会按 h−mh^{-m} 的量级放大。因此,高阶导数的计算尤其困难。这种敏感性是微分算法数值稳定性的核心问题。

外推与自适应估计

理查森外推法通过消去已知的误差主导项来改进近似。若

D(h)=f′(x)+Chp+O(hp+r),D(h)=f'(x)+Ch^p+O(h^{p+r}),

则

R(h)=2pD(h/2)−D(h)2p−1R(h)= \frac{2^pD(h/2)-D(h)}{2^p-1}

可消去 ChpCh^p 项。对于光滑函数,其一阶导数中心差分的展开式只含 hh 的偶次幂,因此这种构造可将截断误差的阶数从二阶提高到四阶。

反复外推可以从一系列不同步长的结果中得到高阶估计。自适应算法会比较这些估计值,评估它们的一致性,并在满足误差准则或进一步细化不再改善结果时停止。

这些过程以所假设的误差展开式成立为前提。舍入误差、噪声、间断以及不光滑行为,都可能使估计结果无法进入预期的渐近区间。两个估计值相符,只能说明它们具有一致性,并不能普遍证明其准确性。

含噪数据的微分

对于测量样本

yj=f(xj)+ηj,y_j=f(x_j)+\eta_j,

扰动 ηj\eta_j 不一定会随采样间距的减小而减小。因此,除非同时控制噪声,否则在更细的网格上,数值微分反而可能变得不可靠。

例如,如果 x−hx-h 和 x+hx+h 处的误差相互独立,且均值均为零、方差均为 σ2\sigma^2,那么噪声对一阶导数中心差分估计的贡献具有如下方差:

Var⁡ ⁣(η+−η−2h)=σ22h2.\operatorname{Var}\!\left( \frac{\eta_+-\eta_-}{2h} \right) =\frac{\sigma^2}{2h^2}.

这种增长反映了一个更深层的问题:在度量函数值的常用范数下,微分是一个无界运算。扰动

e(x)=δsin⁡(ωx)e(x)=\delta\sin(\omega x)

的振幅为 δ\delta,但其导数的振幅为 δω\delta\omega。因此,任意微小但快速振荡的扰动,都可能造成很大的导数误差。从含噪观测中恢复导数,因而常被视为一个逆问题。

常用方法包括:

  • 局部多项式拟合:在某个邻域内用最小二乘法拟合低次多项式,再对拟合的多项式求导。该邻域起到平均作用,而不是要求精确插值通过每个含噪数据点。
  • 平滑样条:拟合光滑曲线,同时对过度粗糙施加惩罚,再对拟合曲线求导。
  • 正则化导数恢复:在与观测数据的一致性和光滑性或结构性惩罚之间取得平衡,以估计导数。
  • 频域滤波:在微分之前或过程中,抑制分辨不足的高频分量。

这些方法引入了正则化和偏差-方差权衡。更强的平滑能够减轻噪声放大,却也可能削弱真实的快速变化。平滑尺度与采样间距并不相同,但两者会相互影响。

谱微分

对于光滑周期函数,可以利用傅里叶系数计算导数。若

f(x)=∑k=−∞∞f^ke2πikx/L,f(x)=\sum_{k=-\infty}^{\infty} \hat f_k e^{2\pi ikx/L},

则在允许逐项求导的条件下,

f′(x)=∑k=−∞∞2πikLf^ke2πikx/L.f'(x)=\sum_{k=-\infty}^{\infty} \frac{2\pi ik}{L}\hat f_k e^{2\pi ikx/L}.

对于采样数据,离散傅里叶变换给出有限三角表示的系数。求导时,将每个系数乘以相应的频率因子;再通过逆变换,得到各采样点上的导数值。快速傅里叶变换使这一过程能够高效实现。

对于光滑周期函数,谱微分可以非常迅速地收敛;在适当的解析性假设下,还可实现指数收敛。它的局限包括高频噪声放大、采样误差与混叠误差,以及将非周期函数表示为周期函数时产生的边界伪影。非周期谱方法则采用其他基函数,包括合适的正交多项式。

复步长微分

复步长微分用于估计实值函数的导数,要求该函数具有适当的解析函数延拓,且能够在复数自变量处求值。对于实数 xx,

f(x+ih)=f(x)+ihf′(x)−h22f′′(x)−ih36f′′′(x)+⋯ ,f(x+ih) =f(x)+ihf'(x)-\frac{h^2}{2}f''(x) -\frac{ih^3}{6}f'''(x)+\cdots,

因此

f′(x)≈Im⁡f(x+ih)h,f'(x)\approx\frac{\operatorname{Im}f(x+ih)}{h},

其截断误差为 O(h2)O(h^2)。

与普通差分不同,这个公式不需要将相近的实函数值相减。因此,在兼容的实现中,它避开了有限差分中主要的消去机制,允许使用非常小的步长。

这种方法的适用范围有限。绝对值、复共轭、提取实部等运算,以及某些依赖分支选择的计算,都可能破坏所需的解析性质。数值代码还必须在整个求值过程中保留微小的虚部。

多元函数的导数与应用

对于标量函数 f:Rn→Rf:\mathbb{R}^n\to\mathbb{R},有限差分通过逐个扰动坐标来估计梯度的各个分量。对于向量值函数 F:Rn→RmF:\mathbb{R}^n\to\mathbb{R}^m,同样的过程可用于估计其雅可比矩阵的各列:

J:,j(x)≈F(x+hej)−F(x)h,J_{:,j}(x)\approx \frac{F(x+he_j)-F(x)}{h},

其中,eje_j 是第 jj 个坐标向量。沿给定方向施加扰动,可以在不构造完整矩阵的情况下估计乘积 JvJv。

在已获得基准点函数值之后,前向差分对每个输入坐标还需额外求值一次;中心差分通常需要两次。若已知稀疏结构,有时可通过精心选择同时施加的扰动来降低计算成本。

应用领域包括数学优化、敏感性分析、软件中的导数校验、根据实验观测估计变化率,以及偏微分方程的离散化。

数值微分不同于自动微分。自动微分使用链式法则在程序中传播导数,而不是根据相隔有限距离的输入值估计导数。它避免了有限差分的截断误差,但需要能够访问合适的计算表示。对于黑箱函数和观测数据,数值微分仍然很有用。

结果的解读与局限

数值导数是特定分辨率下的估计,不能代替对可微性的判定。在尖角、间断点或未被充分分辨的过渡区域,即使相应的经典导数不存在,有限公式仍可能返回一个数值。

例如,对于 f(x)=∣x∣f(x)=|x|,在零点处的中心差分对任意正数 hh 都等于零,尽管该函数在该处并不存在导数。单侧差分则能揭示两侧斜率不一致。

因此,可靠性不仅取决于公式的形式阶数。相关因素还包括局部光滑性、采样点的几何分布、边界附近函数值的可获取性、函数求值误差、噪声水平,以及导数具有实际意义的物理或计算尺度。