有限差分是函数在不同自变量取值处的函数值之差。最简单的例子是 f(x+h)−f(x),其中 h 为非零步长。反复作差可得到高阶差分,它们是各阶导数的离散对应物。与导数不同,有限差分不需要取极限,可以直接对数列或观测数据表进行定义。
有限差分将精确的离散数学与数值近似联系起来。它们可用于刻画多项式、构造插值公式,并将微分与求和纳入移位算子的代数框架。在数值分析中,将差分除以步长的适当次幂,可以近似相应的导数;这些近似构成了求解微分方程的有限差分法的基本要素。要有效运用有限差分,就必须区分离散数据上的精确恒等式与对其背后连续函数的近似,并理解取样间距、光滑性、噪声和舍入对结果的影响。
基本定义与约定
对于函数 f 和固定步长 h,前向差分和后向差分定义为
Δhf(x)=f(x+h)−f(x),∇hf(x)=f(x)−f(x−h).
这些都是未归一化的差分,即都没有除以 h。当函数足够光滑且 h 很小时,相应的差商 Δhf(x)/h 和 ∇hf(x)/h 可用于近似 f′(x)。有些文献用相同的符号表示归一化后的算子,因此比较公式时,必须核对 h 的各次幂出现的位置。对于数列 ak,单位步长的差分通常记为 Δak=ak+1−ak。
中心差分的一种常见约定是
δhf(x)=f(x+2h)−f(x−2h).
按照这一定义,两个采样点之间的距离为 h。因此,常见的中心差分近似式
2hf(x+h)−f(x−h)
就是 δ2hf(x)/(2h)。另一种约定则将 f(x+h)−f(x−h) 称为步长为 h 的中心差分。这两种约定都有使用,明确给出实际采样位置即可避免歧义。对于仅包含 x0+kh 这些点的网格,半步长定义自然地将整数索引网格与半整数索引网格联系起来。
反复施加差分算子即可得到高阶差分。二阶前向差分为
Δh2f(x)=f(x+2h)−2f(x+h)+f(x),
而二阶中心差分为
δh2f(x)=f(x+h)−2f(x)+f(x−h).
例如,若 f(x)=x2,则
Δhf(x)=2xh+h2,Δh2f(x)=2h2,Δh3f(x)=0.
这一计算既说明了差分对网格间距的依赖,也展示了差分算子降低多项式次数的作用。
差分的阶数与导数近似的精度阶是不同的概念。一阶差分涉及一次差分算子的作用,二阶差分则涉及两次。相比之下,二阶精度的近似是指在适当假设下,其误差与 h2 成正比。因此,一阶导数的中心差分近似可以具有二阶精度,而一阶导数的前向差分近似通常只有一阶精度。有限差分本身是精确的代数表达式;只有在用它来表示导数等其他量时,才涉及近似。
平移算子与离散代数
借助平移算子 Eh,有限差分的代数运算可以得到系统化的处理。该算子定义为
(Ehf)(x)=f(x+h).
用 I 表示恒等算子,则有
Δh=Eh−I,∇h=I−Eh−1.
在均匀网格上,平移算子彼此可交换,因此可以对这些算子构成的多项式恒等式进行代数运算。特别地,由二项式定理可得
Δhnf(x)=j=0∑n(−1)n−j(jn)f(x+jh).
因此,这些正负交替的系数并非任意选取的数值权重,而是直接来自 (Eh−I)n 的展开。同一恒等式也适用于任意序列,无须任何可微性假设。
有限差分算子是线性的。对于常数 a,b,有
Δh(af+bg)=aΔhf+bΔhg.
其乘积法则与通常的微分法则不同,因为其中一个因子发生了平移:
Δh(fg)(x)=f(x+h)Δhg(x)+g(x)Δhf(x).
一种等价形式为
Δh(fg)=fΔhg+gΔhf+(Δhf)(Δhg).
这个额外的差分乘积项说明,将所有导数都替换为差分,并不能保留微积分中所有熟悉的恒等式。同样,离散链式法则通常也需要更多信息,而不能仅靠对连续情形的链式法则作简单替换。
指数函数提供了尤为简单的例子。若 f(x)=eλx,则
Δhf(x)=(eλh−1)f(x).
因此,指数函数是差分算子的特征函数,正如它们也是微分算子的特征函数一样。对于序列 ak=rk,相应的乘子为 r−1。这一性质有助于求解线性递推关系:平移算子在其中的作用,类似于导数在常系数微分方程中的作用。以 Eh 表示的多项式可转化为以乘子 r 为变量的特征多项式。
对于解析函数,形式关系 Eh=ehD 将这两种微积分联系起来,其中 D 表示微分算子:
Δh=ehD−I=hD+2!h2D2+⋯.
当相应的展开收敛时,可以通过收敛的泰勒级数来理解这一恒等式;也可以将其视为用于推导渐近公式的形式算子展开。不能认为它在任意函数空间上都自动收敛。不过,它仍然解释了为什么差分经归一化后会趋近于导数,以及为什么中心差分公式能够通过对称性消去某些误差项。
多项式序列、差分表与插值
有限差分与多项式之间有着尤为精确的关系。若 p(x) 的次数为 m≥1,首项系数为 am,则 Δhp 的次数为 m−1,首项系数为 mamh。因此,
Δhmp(x)=m!amhm,Δhm+1p(x)=0.
一阶差分为常数表明序列是一次多项式序列,二阶差分为常数表明序列是二次多项式序列,依此类推。这些结论适用于等距网格上的序列;对于除此之外不受任何限制的函数,它们并不能确定函数在采样点之间的行为。
差分表将函数值排成一列,将其一阶差分排在下一列,再将逐阶差分依次排在后续各列中。对于平方数序列
0, 1, 4, 9, 16,
一阶差分为 1,3,5,7,二阶差分为 2,2,2。这类表格曾是手工计算的重要工具,因为仅用加法就能延伸多项式数值表。差分表也揭示了高阶差分会放大微小的不规则变化:测量噪声或表中数值的舍入误差,可能掩盖理论上应为常数或零的差分。
对于前向差分,下降阶乘是一组自然的多项式基。对无量纲变量 s,定义
sk=s(s−1)⋯(s−k+1),s0=1.
则有
Δsk=ksk−1,
这与 D(sk)=ksk−1 高度相似。等价地,
Δ(ks)=(k−1s).
与普通幂相比,这组基能更简洁地表达差分的降次作用。它还将有限差分与组合数学联系起来,因为同样的多项式表达式将二项式系数推广到了非整数自变量的情形。
对于节点 xj=x0+jh,次数不超过 n 的插值多项式具有如下牛顿前向形式:
pn(x0+sh)=k=0∑n(ks)Δhkf(x0).
这里的差分由表中的函数值计算得到,且 s=(x−x0)/h。这是插值多项式的精确表示,而不只是小步长下的近似。若 f 在包含所有节点和求值点的某个区间上具有 n+1 阶连续导数,则插值余项可写为
f(x)−pn(x)=(n+1)!f(n+1)(ξ)j=0∏n(x−xj)
其中 ξ 为该区间内某个适当的点。将有限项的牛顿公式扩展为无穷级数,需要额外的收敛条件;仅仅各阶差分都存在,并不能保证级数收敛于原函数。
不等间距与差商
普通的逐次差分最适用于等距网格。当节点间距不规则时,差商提供了相应的插值工具。对于互不相同的节点,差商递归定义为
f[xi]=f(xi),
以及
f[x0,…,xk]=xk−x0f[x1,…,xk]−f[x0,…,xk−1].
一阶差商是割线的斜率。高阶差商衡量低阶斜率的变化,同时将节点之间的距离考虑在内。与普通有限差分不同,差商在定义中就纳入了长度尺度。
对于等距节点,这两种构造满足
f[x0,x0+h,…,x0+kh]=k!hkΔhkf(x0).
这一恒等式解释了在不同形式的牛顿插值公式之间转换时,为何会出现阶乘和间距的幂。尽管递归定义看似依赖节点的排列顺序,差商实际上关于各个自变量是对称的。对于具有足够阶导数的实值函数和互不相同的实数节点,广义中值定理给出
f[x0,…,xk]=k!f(k)(ξ)
其中,某个 ξ 位于最小节点与最大节点之间。当节点趋于重合时,相应的极限构造便导向利用导数数据的重节点插值。
在任意互异节点上,牛顿插值多项式为
pn(x)=f[x0]+k=1∑nf[x0,…,xk]j=0∏k−1(x−xj).
这种表示形式便于加入新的观测数据:只要将新节点追加到节点序列的末尾,已有系数就保持不变。对插值多项式求导,可以得到适用于任意节点分布的有限差分公式。从这个意义上说,非等距网格上的数值微分是多项式插值的一种应用,而不只是对等距网格公式的分母作修改。
间距的不对称性会改变精度。若相邻点为 x−a 和 x+b,其中 a,b>0,则二次插值给出
f′′(x)≈a(a+b)2f(x−a)−ab2f(x)+b(a+b)2f(x+b).
在 x 处展开可知,误差的主导项为
3b−af′′′(x)+O(max(a,b)2).
当 a=b 时,三阶导数项相消,从而恢复熟悉的二阶精度中心差分公式。对于一般的非对称网格族,同样的三点构造可能只有一阶精度。节点过于密集或分布极不均匀,还可能产生很大的权重,使导数估计对数据扰动十分敏感。
数值微分与截断误差
数值微分用邻近点处函数值的加权组合来近似导数。在满足充分光滑性假设的条件下,泰勒展开给出基本的前向差分公式
hf(x+h)−f(x)=f′(x)+2hf′′(x)+O(h2),
以及中心差分公式
2hf(x+h)−f(x−h)=f′(x)+6h2f′′′(x)+O(h4),
其中,O(hp) 采用大O记号,描述截断误差在 h→0 时随步长变化的阶。中心差分公式更精确,因为对称采样使分子中的偶次幂项在除以 h 之前相互抵消。
更一般的公式可以通过匹配多项式矩来推导。考虑 m 阶导数的近似式
Dh(m)f(x)=hm1j=1∑Nwjf(x+cjh),
其中 cj 是固定的节点偏移量。要使该公式对次数不超过 q 的多项式精确成立,就必须满足
j=1∑Nwjcjk={m!,0,k=m,0≤k≤q, k=m.
对于充分光滑的 f,这些条件意味着误差为 O(hq+1−m);若更高阶的矩也为零,误差阶还会更高。因此,求权重是一个线性方程组问题,不过,基于插值的专门算法可以避免显式求解病态的幂基方程组。
一种标准的五点近似公式为
f′(x)≈12hf(x−2h)−8f(x−h)+8f(x+h)−f(x+2h).
其误差为 O(h4)。在边界附近,无法同时取得两侧的采样值,单边差分公式便很有用。例如,
f′(x)≈2h−3f(x)+4f(x+h)−f(x+2h)
的误差为 O(h2)。这类公式所用的偏移量和系数的集合称为差分模板。加宽差分模板可以提高形式精度,但也需要更多数据,而且可能使公式对边界、不规则间距或噪声更加敏感。
理查森外推法通过组合不同步长下的近似值来提高精度。若
A(h)=L+chp+O(hp+r),
则
2p−12pA(h/2)−A(h)=L+O(hp+r).
对于一阶导数的中心差分公式,p=2,并且在满足充分光滑性条件时,r=2。主导误差项通过代数运算被消去。这一过程依赖于有效的误差渐近展开:不连续、光滑性不足或数值噪声都可能使预期的精度提升无法实现。因此,形式精度是公式本身与对函数及采样方式的假设共同决定的性质。
舍入、噪声与尺度的选择
减小步长可以降低截断误差,但这种效果只会持续到其他误差占据主导地位时。在浮点运算中,相近的函数值 f(x+h) 和 f(x) 各自的计算结果可能只有很小的相对误差,但当真实差值很小时,两者相减所得结果的相对误差却可能很大。再将这一差值除以 h,就会放大这种影响。单独来看,减法运算本身未必不准确;问题在于,操作数中原有的不确定性,相对于其差值中包含的导数信息而言,可能很大。
一阶导数的一个简化总误差模型为
E(h)≲Cthp+Crhε,
其中,p 是截断精度的阶数,ε 表示计算误差的尺度,常数则取决于函数和所用公式。令这两项达到平衡,可得
hopt∝ε1/(p+1).
因此,一阶精度前向公式的特征尺度为 ε1/2,二阶精度中心公式的特征尺度为 ε1/3。这些是尺度关系,而不是普遍适用的步长数值。x 的单位、f 的量级、导数的大小以及函数求值的精度,都会影响合适尺度的选择。
对于 m 阶导数,数据中的扰动通过除以 hm 的权重影响结果。如果每个函数值的绝对误差都不超过 η,则
∣induced derivative error∣≤∣h∣mηj∑∣wj∣.
因此,高阶导数对噪声和过小的间距尤为敏感。直接对测量数据反复作差,所得序列可能主要反映随机波动,而非有意义的局部变化。平滑、局部多项式拟合或正则化通过在分辨率与敏感性之间作出权衡,改变了原有的估计问题。这类方法是在额外假设下估计导数,而不是毫无代价地消除噪声。
其他求导技术有助于厘清有限差分的适用范围。自动微分沿计算机程序的各项运算传播导数,不会引入有限步长带来的截断误差。对于满足相应解析性要求的函数,以及兼容的程序实现,复步长求导采用
f′(x)≈hImf(x+ih),
从而避免对几乎相等的实数值作减法。对于任意非解析运算,或会丢弃虚部的程序,这种方法不能原样套用。在只能获得函数求值结果的情况下,有限差分仍有广泛的适用性,但其可靠性取决于这些结果的计算方式,以及求值误差与待测变化相比有多大。
离散反差分与求和
有限差分有一种类似于积分的逆运算。序列 ak 的一个反差分是满足下式的序列 Fk:
ΔFk=Fk+1−Fk=ak.
于是,通过逐项相消可得
k=m∑n−1ak=Fn−Fm.
这是 微积分基本定理的离散对应形式。对于以连续整数为下标的序列,反差分在相差一个加法常数的意义下是唯一的。对于自变量连续、步长固定为 h 的函数,不唯一性则更大:任何以 h 为周期的函数,其前向差分都为零,因此加上这样的函数不会改变差分结果。
利用下降阶乘,可以直接求出多项式的反差分:
Δ(r+1k)=(rk).
因此
k=0∑n−1(rk)=(r+1n).
普通幂可以用下降阶乘基底表示,再逐项求和。例如,
k2=2(2k)+(1k),
由此得到
k=0∑n−1k2=2(3n)+(2n)=6n(n−1)(2n−1).
因此,有限差分方法系统地解释了为什么多项式序列的求和结果仍是多项式表达式,而且次数增加一。
离散乘积法则可导出 分部求和法,它是 分部积分法的离散对应形式。令 Δbk=bk+1−bk,则
k=m∑n−1akΔbk=anbn−ambm−k=m∑n−1bk+1Δak.
其中,bk+1 的下标偏移至关重要。这个恒等式将差分运算从一个因子转移到另一个因子,同时产生边界项。它可用于估计求和结果、证明收敛性结论以及构造离散能量恒等式。在微分方程的数值求解中,经过精心设计的离散形式能够保留对稳定性十分重要的边界项结构。
欧拉–麦克劳林公式进一步揭示了求和与积分之间的关系。当 b=a+Nh 时,其前几项为
h[2f(a)+f(b)+k=1∑N−1f(a+kh)]=∫abf(x)dx+12h2(f′(b)−f′(a))−720h4(f′′′(b)−f′′′(a))+⋯.
在满足适当的光滑性条件并明确余项后,这是一个严格的有限阶公式;上式所示的延展形式也可用作渐近展开。它将表列函数值的求和、端点处的导数与积分联系起来,说明了梯形公式的系统性修正,以及分析中使用的许多近似方法。
微分方程、傅里叶分析与稳定性
在有限差分离散化中,微分方程中的导数被替换为未知网格值的差分。对于一维热方程,
ut=κuxx,
对时间采用向前差分,对空间采用中心二阶差分,可得
ujn+1=ujn+r(uj+1n−2ujn+uj−1n),r=(Δx)2κΔt.
对于足够光滑的解,该公式在时间上具有一阶精度,在空间上具有二阶精度。然而,仅凭其局部近似性质,并不能保证在反复推进时间步后仍能保持精度。
傅里叶模态分析揭示了稳定性限制。代入 ujn=Gneijθ,得到放大因子
G(θ)=1−4rsin2(θ/2).
对于周期性或无限均匀网格,要求每个模态都满足 ∣G(θ)∣≤1,便得到 0≤r≤1/2。若 r>1/2,短波长误差就会随迭代而增长。这一例子区分了相容性与数值稳定性:前者关注对方程的近似,后者关注扰动的传播。对于线性适定初值问题,拉克斯等价定理在其规定的假设下,将相容性、稳定性与收敛性联系起来。
空间差分还会导出稀疏线性代数问题。在正方形网格上,二维拉普拉斯算子的中心差分近似为
Δhui,j=h2ui+1,j+ui−1,j+ui,j+1+ui,j−1−4ui,j.
将其应用于带边界条件的泊松方程,便会得到一个稀疏矩阵,其非零元素的分布反映了网格点之间的相邻关系。边界公式是离散化的一部分,而非事后补充:即使内部差分模板具有很高的形式精度阶,不准确或不稳定的边界处理仍可能改变整个格式的收敛性和稳定性。
傅里叶变换既能解释差分算子的精度,也能揭示其局限性。对于模态 eikx,中心一阶差分的乘子为
ihsin(kh)
而不是精确微分算子的乘子 ik。当 ∣kh∣ 很小时,两者相近;但在接近网格所能分辨的最高频率时,两者差异很大。当 kh=π 时,中心差分的乘子为零,因此该算子无法检测到网格值正负交替的模式。这种特性在波传播、流体动力学和信号处理中十分重要。高阶公式能在部分可分辨频率范围内提高精度,但任何固定的局部差分模板都无法在所有波长上精确复现连续微分。
历史发展与更广泛的应用
有限差分源于数表的实际计算和对整数序列的研究。17 世纪,艾萨克·牛顿等数学家的工作确立了用逐阶差分表示的插值方法。这些方法适用于等间距的自变量,例如天文表和航海表中的自变量。18 世纪,求和公式的发展,包括莱昂哈德·欧拉和科林·麦克劳林的工作,进一步将离散求和与微积分联系起来。由此,这一领域沿着两条相互关联的路线发展:精确的代数恒等式,以及基于表列数值的数值近似。
机械计算赋予了差分独特的历史地位。查尔斯·巴贝奇于 1822 年提出差分机的构想,旨在通过反复加法来计算并打印数学用表。其原理在于,多项式足够高阶的差分为零:只需存储一个函数值及若干阶差分,就能生成后续的函数值,而不必反复进行乘法运算。此后,乔治·舒茨和爱德华·舒茨在 19 世纪制造出了能够实际运行的差分机。这些机器利用的是多项式制表所具有的一项特定计算优势,而非用于符号微分的通用机器。
20 世纪的微分方程计算将关注重点转向稳定性、收敛性和大规模网格方程组。理查德·柯朗、库尔特·弗里德里希斯和汉斯·莱维于 1928 年发表的论文,确立了将差分近似与微分方程的传播性质联系起来的重要结果。1956 年的拉克斯—里希特迈尔论文则在适当的条件下,阐明了相容线性近似的稳定性与收敛性之间的等价关系。在电磁学中,凯恩·伊于 1966 年提出的交错网格格式,将不同的场分量安排在空间和时间上彼此错开的位置。这一格式成为时域有限差分法的奠基性方法,表明网格的布置方式可以保持方程之间重要的结构关系。
有限差分也用于微分方程求解器之外的领域。在数学优化中,当无法获得解析导数时,可以用有限差分近似计算梯度、雅可比矩阵或海森矩阵。对于一个含 d 个变量的标量函数,直接采用前向差分计算梯度需要进行 d+1 次函数求值,其中包括一次共用的基准值求值;中心差分通常需要 2d 次。在时间序列分析中,变换 yt−yt−1 可将严格的线性趋势化为常数,而季节差分则采用 yt−yt−s。这些变换也会改变噪声和相依性质,因此差分并不是一种不影响数据特性的预处理操作。在这些应用中,同一套代数方法都用于衡量选定间隔上的变化;而如何解释这一间隔,则决定了结果表示的是离散关系、导数近似,还是对观测数据的滤波。