拉普拉斯方法是渐近展开中的一种技术,用于近似计算被积函数的指数因子中含有较大正参数的积分。对于形如
I(λ)=∫abg(x)eλf(x)dx,λ→+∞,
的积分,主要贡献通常来自 f 取得最大值的点的邻域。如果存在唯一的内部最大值点,且该点的二阶导数为非零负数,那么在局部用二次函数替代指数部分,就能得到高斯积分以及显式的首项近似。该方法以皮埃尔-西蒙·拉普拉斯命名,广泛应用于数学分析、概率论、统计学和数学物理。
基本近似
设 f 是实值函数,在内点 x0∈(a,b) 处取得唯一的全局最大值,且满足
f′(x0)=0,f′′(x0)<0.
如果 g 在 x0 处连续,g(x0)=0,并且满足适当的光滑性条件和尾部条件,则
I(λ)∼g(x0)eλf(x0)λ[−f′′(x0)]2π.
这里,A(λ)∼B(λ) 表示 A(λ)/B(λ)→1。
这三个因子各有不同的作用:
- eλf(x0) 给出指数尺度。
- g(x0) 给出主导点处的振幅。
- 2π/(λ[−f′′(x0)]) 衡量峰的有效宽度。
因此,峰的贡献集中在宽度为 λ−1/2 量级的区域内;曲率 −f′′(x0) 越大,集中区域就越窄。
采用等价的极小值形式往往更方便:
J(λ)=∫abg(x)e−λh(x)dx.
如果 h 在内点 x0 处取得唯一的非退化最小值,则
J(λ)∼g(x0)e−λh(x0)λh′′(x0)2π.
方法原理
局部论证源于泰勒级数展开:
f(x)=f(x0)+21f′′(x0)(x−x0)2+o((x−x0)2).
记 a=−f′′(x0)>0,并引入缩放变量
u=λa(x−x0)
则对于有界的 u,有
λ[f(x)−f(x0)]=−2u2+o(1).
因此,
I(λ)≈λag(x0)eλf(x0)∫−∞∞e−u2/2du.
该积分等于 2π,这也是正态分布归一化的基础。
全局部分的论证则要说明,远离 x0 的区域所产生的贡献可以忽略。在紧区间上,由连续性和最大值的唯一性可知,在 x0 的任意固定邻域之外,都存在某个 η>0,使得
f(x)≤f(x0)−η
成立。因此,该区域的贡献比峰附近的贡献小一个指数因子。
在无界区域上,仅有最大值的唯一性还不够,还需要控制尾部。一组实用的充分条件是:在某个有界邻域之外,函数值与最大值之间存在严格的正间隔,并且对于某个固定的 λ0>0,有
∫∣g(x)∣eλ0f(x)dx<∞
成立。这类条件保证可以忽略尾部,并应用局部收敛论证。
高阶项与误差估计
更高的光滑性可以给出按 λ 的逆幂排列的修正项。在适当的正则性和局部化假设下,
I(λ)=eλf(x0)λa2π[g(x0)+λC1+O(λ−2)],a=−f′′(x0).
余项用大O记号表示。下式中的所有导数均在 x0 处取值:
C1=2ag′′+2a2g′f′′′+8a2gf′′′′+24a35g(f′′′)2.
这些项反映了振幅的变化、峰的不对称性,以及局部形状偏离二次形式的程度。特别地,当 g(x0)=0 且所需假设成立时,首项近似的相对误差通常为 O(λ−1)。
完整展开通常是渐近展开,而不是收敛展开。增加项数可能起初会提高精度,但在固定的 λ 下并不一定形成收敛级数。如果 g(x0)=0,上述首项贡献为零,必须通过更细致的局部展开来确定第一个非零项。
多维形式
对于区域 D⊆Rd,考虑
I(λ)=∫Dg(x)eλf(x)dx.
假设 f 在唯一的内部最大值点 x0 处的梯度为零,且
A=−∇2f(x0)
是正定矩阵。这里,∇2f 是海森矩阵。在满足适当的光滑性和全局控制条件时,
I(λ)∼g(x0)eλf(x0)(λ2π)d/2detA1,
其中,detA 是 A 的行列式。
局部近似为以 x0 为中心的多元正态分布,其协方差矩阵为
Σ=λ1A−1.
每个局部具有非零曲率的方向都会贡献一个 λ−1/2 量级的因子;行列式综合了所有方向上的曲率。
示例:斯特林近似
一个重要应用是阶乘的斯特林近似。由伽马函数可得
n!=∫0∞tne−tdt.
代入 t=nx,得到
n!=nn+1∫0∞en(logx−x)dx.
对于
f(x)=logx−x,
唯一的最大值点为 x0=1,且
f(1)=−1,f′′(1)=−1.
因此,拉普拉斯方法给出
n!∼nn+1e−nn2π=2πn(en)n.
加入第一项修正后,有
n!=2πn(en)n[1+12n1+O(n−2)].
贝叶斯与统计应用
后验近似
在贝叶斯推断中,后验分布的密度具有如下形式:
p(θ∣y)=p(y)p(y∣θ)p(θ).
定义未归一化后验密度的对数为
ℓ(θ)=logp(y∣θ)+logp(θ).
如果 ℓ 在内点 θ^ 附近形成高度集中的峰,并在该点取得最大值,且其海森矩阵的负值
H=−∇2ℓ(θ^),
为正定矩阵,则
p(θ∣y)≈Nd(θ;θ^,H−1).
中心 θ^ 是最大后验估计。
在满足正则条件、维数固定的统计模型中,样本量的增加往往提供了所需的大参数:对数似然是各个观测对应项的总和,其曲率通常随样本量增大而增大。但对任意数据集或模型,这种近似并不一定成立。
边际似然与期望值
边际似然是归一化积分
p(y)=∫p(y∣θ)p(θ)dθ.
沿用上述记号,
p(y)≈eℓ(θ^)(2π)d/2(detH)−1/2.
后验期望值同样可以通过积分之比来近似:
E[h(θ)∣y]=∫eℓ(θ)dθ∫h(θ)eℓ(θ)dθ.
当分子和分母具有相容的主导行为时,最简单的首项近似是 h(θ^)。高阶方法则能反映后验分布的离散程度与不对称性。
这些确定性近似的计算成本可能低于马尔可夫链蒙特卡洛,但其精度在很大程度上取决于后验分布的形状,以及能否找到相关的众数。
多峰、边界与退化情形
多个主导最大值
如果有限个孤立、非退化的内部最大值点 x1,…,xk 具有相同的全局最大值,那么它们的首项贡献相加:
I(λ)∼j=1∑kg(xj)eλf(xj)λ[−f′′(xj)]2π,
前提是这些首项之和不发生抵消。
当 λ→∞ 时,如果较低的局部最大值与全局最大值之间的高度差保持固定,其贡献就会受到指数级抑制。因此,当多个峰的高度相近时,仅用其中一个峰近似多峰积分,可能会遗漏相当大的贡献。
边界最大值
如果最大值出现在左端点,且 f′(a)<0,那么局部的指数部分是线性的,而不是二次的。在适当条件下,
I(λ)∼λ[−f′(a)]g(a)eλf(a).
首项的幂次为 λ−1,而不是 λ−1/2。
如果端点是驻点,且满足 f′(a)=0 和 f′′(a)<0,那么光滑的单侧邻域所贡献的首项,是对应完整高斯首项的一半。
退化最大值
如果 f′′(x0)=0,高斯公式通常不再适用。假设此时有
f(x)=f(x0)−c(x−x0)2m+o(∣x−x0∣2m),c>0.
对于两侧均有贡献的内部最大值点,
I(λ)∼g(x0)eλf(x0)m(λc)1/(2m)Γ(1/(2m)).
此时的集中宽度为 λ−1/(2m)。如果最大值点构成连续集合,而不是孤立点,则需要采用不同的分析方法,将沿最大值点集合的方向与横向方向区分开来。
相关方法与局限性
驻相法用于处理如下形式的振荡积分:
∫g(x)eiλf(x)dx.
在这种情况下,起作用的是相消而非指数抑制,驻点也不必是最大值点。梯度下降所对应的最速下降思路,则通过将积分路径变形为经过合适鞍点的路径,把相关思想推广到复积分。
拉普拉斯方法不同于拉普拉斯变换,但在适当的参数极限下,可以用它来近似这类变换。
实际实现需要结合数学优化与曲率计算。使用对数有助于避免数值溢出,而Cholesky分解可以计算正定海森矩阵的对数行列式,并求解所需的线性方程组,无须显式构造逆矩阵。
主要局限包括:
- **集中程度不足:**当参数值不够大时,局部二次近似可能无法涵盖积分的主要贡献。
- **曲率矩阵接近奇异:**平坦方向会使高斯尺度变得不可靠。
- **非一致行为:**最大值点的移动或合并,可能使针对固定参数推导的近似失效。
- **维数增长:**当维数随样本量增长时,固定维数下的误差估计未必仍然足够小。
- **重新参数化:**密度的众数及其局部高斯形式依赖于坐标。对积分展开进行一致的变量变换,可以保持积分的渐近值不变,但有限阶的高斯后验近似在不同参数化下未必完全一致。
当最大值点相互合并或接近边界时,可能需要专门的一致近似,才能准确描述这一过渡过程。