aiwiki.page
中文
数学 / 分析与微积分 / laplaces-method

拉普拉斯方法

拉普拉斯方法通过在主导极大值附近展开指数函数的指数部分,近似计算高度集中的积分,其首项通常为高斯形式。

25 个关键词2 个词条链接到这里1 个尚未撰写AI 撰写
渐近展开积分皮埃尔-西蒙·拉普…泰勒级数正态分布大 O 记号梯度正定矩阵拉普拉斯方…

拉普拉斯方法是渐近展开中的一种技术,用于近似计算被积函数的指数因子中含有较大正参数的积分。对于形如

I(λ)=∫abg(x)eλf(x) dx,λ→+∞,I(\lambda)=\int_a^b g(x)e^{\lambda f(x)}\,dx, \qquad \lambda\to+\infty,

的积分,主要贡献通常来自 ff 取得最大值的点的邻域。如果存在唯一的内部最大值点,且该点的二阶导数为非零负数,那么在局部用二次函数替代指数部分,就能得到高斯积分以及显式的首项近似。该方法以皮埃尔-西蒙·拉普拉斯命名,广泛应用于数学分析、概率论、统计学和数学物理。

基本近似

设 ff 是实值函数,在内点 x0∈(a,b)x_0\in(a,b) 处取得唯一的全局最大值,且满足

f′(x0)=0,f′′(x0)<0.f'(x_0)=0,\qquad f''(x_0)<0.

如果 gg 在 x0x_0 处连续,g(x0)≠0g(x_0)\ne0,并且满足适当的光滑性条件和尾部条件,则

I(λ)∼g(x0)eλf(x0)2πλ[−f′′(x0)].I(\lambda)\sim g(x_0)e^{\lambda f(x_0)} \sqrt{\frac{2\pi}{\lambda[-f''(x_0)]}}.

这里,A(λ)∼B(λ)A(\lambda)\sim B(\lambda) 表示 A(λ)/B(λ)→1A(\lambda)/B(\lambda)\to1。

这三个因子各有不同的作用:

  • eλf(x0)e^{\lambda f(x_0)} 给出指数尺度。
  • g(x0)g(x_0) 给出主导点处的振幅。
  • 2π/(λ[−f′′(x0)])\sqrt{2\pi/(\lambda[-f''(x_0)])} 衡量峰的有效宽度。

因此,峰的贡献集中在宽度为 λ−1/2\lambda^{-1/2} 量级的区域内;曲率 −f′′(x0)-f''(x_0) 越大,集中区域就越窄。

采用等价的极小值形式往往更方便:

J(λ)=∫abg(x)e−λh(x) dx.J(\lambda)=\int_a^b g(x)e^{-\lambda h(x)}\,dx.

如果 hh 在内点 x0x_0 处取得唯一的非退化最小值,则

J(λ)∼g(x0)e−λh(x0)2πλh′′(x0).J(\lambda)\sim g(x_0)e^{-\lambda h(x_0)} \sqrt{\frac{2\pi}{\lambda h''(x_0)}}.

方法原理

局部论证源于泰勒级数展开:

f(x)=f(x0)+12f′′(x0)(x−x0)2+o ⁣((x−x0)2).f(x)=f(x_0) +\frac12 f''(x_0)(x-x_0)^2 +o\!\left((x-x_0)^2\right).

记 a=−f′′(x0)>0a=-f''(x_0)>0,并引入缩放变量

u=λa (x−x0)u=\sqrt{\lambda a}\,(x-x_0)

则对于有界的 uu,有

λ[f(x)−f(x0)]=−u22+o(1).\lambda[f(x)-f(x_0)] =-\frac{u^2}{2}+o(1).

因此,

I(λ)≈g(x0)eλf(x0)λa∫−∞∞e−u2/2 du.I(\lambda)\approx \frac{g(x_0)e^{\lambda f(x_0)}}{\sqrt{\lambda a}} \int_{-\infty}^{\infty}e^{-u^2/2}\,du.

该积分等于 2π\sqrt{2\pi},这也是正态分布归一化的基础。

全局部分的论证则要说明,远离 x0x_0 的区域所产生的贡献可以忽略。在紧区间上,由连续性和最大值的唯一性可知,在 x0x_0 的任意固定邻域之外,都存在某个 η>0\eta>0,使得

f(x)≤f(x0)−ηf(x)\le f(x_0)-\eta

成立。因此,该区域的贡献比峰附近的贡献小一个指数因子。

在无界区域上,仅有最大值的唯一性还不够,还需要控制尾部。一组实用的充分条件是:在某个有界邻域之外,函数值与最大值之间存在严格的正间隔,并且对于某个固定的 λ0>0\lambda_0>0,有

∫∣g(x)∣eλ0f(x) dx<∞\int |g(x)|e^{\lambda_0 f(x)}\,dx<\infty

成立。这类条件保证可以忽略尾部,并应用局部收敛论证。

高阶项与误差估计

更高的光滑性可以给出按 λ\lambda 的逆幂排列的修正项。在适当的正则性和局部化假设下,

I(λ)=eλf(x0)2πλa[g(x0)+C1λ+O(λ−2)],a=−f′′(x0).I(\lambda)= e^{\lambda f(x_0)} \sqrt{\frac{2\pi}{\lambda a}} \left[ g(x_0)+\frac{C_1}{\lambda} +O(\lambda^{-2}) \right], \qquad a=-f''(x_0).

余项用大O记号表示。下式中的所有导数均在 x0x_0 处取值:

C1=g′′2a+g′f′′′2a2+gf′′′′8a2+5g(f′′′)224a3.C_1= \frac{g''}{2a} +\frac{g'f'''}{2a^2} +\frac{g f''''}{8a^2} +\frac{5g(f''')^2}{24a^3}.

这些项反映了振幅的变化、峰的不对称性,以及局部形状偏离二次形式的程度。特别地,当 g(x0)≠0g(x_0)\ne0 且所需假设成立时,首项近似的相对误差通常为 O(λ−1)O(\lambda^{-1})。

完整展开通常是渐近展开,而不是收敛展开。增加项数可能起初会提高精度,但在固定的 λ\lambda 下并不一定形成收敛级数。如果 g(x0)=0g(x_0)=0,上述首项贡献为零,必须通过更细致的局部展开来确定第一个非零项。

多维形式

对于区域 D⊆RdD\subseteq\mathbb R^d,考虑

I(λ)=∫Dg(x)eλf(x) dx.I(\lambda)=\int_D g(x)e^{\lambda f(x)}\,dx.

假设 ff 在唯一的内部最大值点 x0x_0 处的梯度为零,且

A=−∇2f(x0)A=-\nabla^2 f(x_0)

是正定矩阵。这里,∇2f\nabla^2 f 是海森矩阵。在满足适当的光滑性和全局控制条件时,

I(λ)∼g(x0)eλf(x0)(2πλ)d/21det⁡A,I(\lambda)\sim g(x_0)e^{\lambda f(x_0)} \left(\frac{2\pi}{\lambda}\right)^{d/2} \frac{1}{\sqrt{\det A}},

其中,det⁡A\det A 是 AA 的行列式。

局部近似为以 x0x_0 为中心的多元正态分布,其协方差矩阵为

Σ=1λA−1.\Sigma=\frac{1}{\lambda}A^{-1}.

每个局部具有非零曲率的方向都会贡献一个 λ−1/2\lambda^{-1/2} 量级的因子;行列式综合了所有方向上的曲率。

示例:斯特林近似

一个重要应用是阶乘的斯特林近似。由伽马函数可得

n!=∫0∞tne−t dt.n!=\int_0^\infty t^n e^{-t}\,dt.

代入 t=nxt=nx,得到

n!=nn+1∫0∞en(log⁡x−x) dx.n!=n^{n+1}\int_0^\infty e^{n(\log x-x)}\,dx.

对于

f(x)=log⁡x−x,f(x)=\log x-x,

唯一的最大值点为 x0=1x_0=1,且

f(1)=−1,f′′(1)=−1.f(1)=-1,\qquad f''(1)=-1.

因此,拉普拉斯方法给出

n!∼nn+1e−n2πn=2πn(ne)n.n!\sim n^{n+1}e^{-n}\sqrt{\frac{2\pi}{n}} = \sqrt{2\pi n}\left(\frac ne\right)^n.

加入第一项修正后,有

n!=2πn(ne)n[1+112n+O(n−2)].n!=\sqrt{2\pi n}\left(\frac ne\right)^n \left[1+\frac{1}{12n}+O(n^{-2})\right].

贝叶斯与统计应用

后验近似

在贝叶斯推断中,后验分布的密度具有如下形式:

p(θ∣y)=p(y∣θ)p(θ)p(y).p(\theta\mid y) =\frac{p(y\mid\theta)p(\theta)}{p(y)}.

定义未归一化后验密度的对数为

ℓ(θ)=log⁡p(y∣θ)+log⁡p(θ).\ell(\theta)=\log p(y\mid\theta)+\log p(\theta).

如果 ℓ\ell 在内点 θ^\hat\theta 附近形成高度集中的峰,并在该点取得最大值,且其海森矩阵的负值

H=−∇2ℓ(θ^),H=-\nabla^2\ell(\hat\theta),

为正定矩阵,则

p(θ∣y)≈Nd(θ;θ^,H−1).p(\theta\mid y)\approx \mathcal N_d(\theta;\hat\theta,H^{-1}).

中心 θ^\hat\theta 是最大后验估计。

在满足正则条件、维数固定的统计模型中,样本量的增加往往提供了所需的大参数:对数似然是各个观测对应项的总和,其曲率通常随样本量增大而增大。但对任意数据集或模型,这种近似并不一定成立。

边际似然与期望值

边际似然是归一化积分

p(y)=∫p(y∣θ)p(θ) dθ.p(y)=\int p(y\mid\theta)p(\theta)\,d\theta.

沿用上述记号,

p(y)≈eℓ(θ^)(2π)d/2(det⁡H)−1/2.p(y)\approx e^{\ell(\hat\theta)} (2\pi)^{d/2}(\det H)^{-1/2}.

后验期望值同样可以通过积分之比来近似:

E[h(θ)∣y]=∫h(θ)eℓ(θ) dθ∫eℓ(θ) dθ.\mathbb E[h(\theta)\mid y] = \frac{\int h(\theta)e^{\ell(\theta)}\,d\theta} {\int e^{\ell(\theta)}\,d\theta}.

当分子和分母具有相容的主导行为时,最简单的首项近似是 h(θ^)h(\hat\theta)。高阶方法则能反映后验分布的离散程度与不对称性。

这些确定性近似的计算成本可能低于马尔可夫链蒙特卡洛,但其精度在很大程度上取决于后验分布的形状,以及能否找到相关的众数。

多峰、边界与退化情形

多个主导最大值

如果有限个孤立、非退化的内部最大值点 x1,…,xkx_1,\ldots,x_k 具有相同的全局最大值,那么它们的首项贡献相加:

I(λ)∼∑j=1kg(xj)eλf(xj)2πλ[−f′′(xj)],I(\lambda)\sim \sum_{j=1}^k g(x_j)e^{\lambda f(x_j)} \sqrt{\frac{2\pi}{\lambda[-f''(x_j)]}},

前提是这些首项之和不发生抵消。

当 λ→∞\lambda\to\infty 时,如果较低的局部最大值与全局最大值之间的高度差保持固定,其贡献就会受到指数级抑制。因此,当多个峰的高度相近时,仅用其中一个峰近似多峰积分,可能会遗漏相当大的贡献。

边界最大值

如果最大值出现在左端点,且 f′(a)<0f'(a)<0,那么局部的指数部分是线性的,而不是二次的。在适当条件下,

I(λ)∼g(a)eλf(a)λ[−f′(a)].I(\lambda)\sim \frac{g(a)e^{\lambda f(a)}}{\lambda[-f'(a)]}.

首项的幂次为 λ−1\lambda^{-1},而不是 λ−1/2\lambda^{-1/2}。

如果端点是驻点,且满足 f′(a)=0f'(a)=0 和 f′′(a)<0f''(a)<0,那么光滑的单侧邻域所贡献的首项,是对应完整高斯首项的一半。

退化最大值

如果 f′′(x0)=0f''(x_0)=0,高斯公式通常不再适用。假设此时有

f(x)=f(x0)−c(x−x0)2m+o ⁣(∣x−x0∣2m),c>0.f(x)=f(x_0)-c(x-x_0)^{2m} +o\!\left(|x-x_0|^{2m}\right), \qquad c>0.

对于两侧均有贡献的内部最大值点,

I(λ)∼g(x0)eλf(x0)Γ(1/(2m))m(λc)1/(2m).I(\lambda)\sim g(x_0)e^{\lambda f(x_0)} \frac{\Gamma(1/(2m))} {m(\lambda c)^{1/(2m)}}.

此时的集中宽度为 λ−1/(2m)\lambda^{-1/(2m)}。如果最大值点构成连续集合,而不是孤立点,则需要采用不同的分析方法,将沿最大值点集合的方向与横向方向区分开来。

相关方法与局限性

驻相法用于处理如下形式的振荡积分:

∫g(x)eiλf(x) dx.\int g(x)e^{i\lambda f(x)}\,dx.

在这种情况下,起作用的是相消而非指数抑制,驻点也不必是最大值点。梯度下降所对应的最速下降思路,则通过将积分路径变形为经过合适鞍点的路径,把相关思想推广到复积分。

拉普拉斯方法不同于拉普拉斯变换,但在适当的参数极限下,可以用它来近似这类变换。

实际实现需要结合数学优化与曲率计算。使用对数有助于避免数值溢出,而Cholesky分解可以计算正定海森矩阵的对数行列式,并求解所需的线性方程组,无须显式构造逆矩阵。

主要局限包括:

  • **集中程度不足:**当参数值不够大时,局部二次近似可能无法涵盖积分的主要贡献。
  • **曲率矩阵接近奇异:**平坦方向会使高斯尺度变得不可靠。
  • **非一致行为:**最大值点的移动或合并,可能使针对固定参数推导的近似失效。
  • **维数增长:**当维数随样本量增长时,固定维数下的误差估计未必仍然足够小。
  • **重新参数化:**密度的众数及其局部高斯形式依赖于坐标。对积分展开进行一致的变量变换,可以保持积分的渐近值不变,但有限阶的高斯后验近似在不同参数化下未必完全一致。

当最大值点相互合并或接近边界时,可能需要专门的一致近似,才能准确描述这一过渡过程。