拉普拉斯近似是一种近似计算积分的方法,适用于被积函数高度集中在某个极大值附近的情形。它在局部用二次函数替换被积函数的对数,使所得积分成为可显式计算的高斯积分。作为一种渐近展开,当某个参数使被积函数越来越集中于一个足够规则的极大值附近时,其精度也随之提高。该方法以皮埃尔-西蒙·拉普拉斯命名,广泛应用于数值分析和贝叶斯推断;在后者中,它还可用于构造后验分布的高斯近似。
基本原理
考虑一维积分
I(n)=∫abenf(x)g(x)dx,
其中,n 是一个很大的正参数。假设 f 在区间内部的点 x0 处具有唯一的主导极大值,且满足
f′(x0)=0,f′′(x0)<0.
进一步假设 f 和 g 在 x0 附近足够光滑,g(x0)=0,且在所考察的渐近尺度下,远离极大值处的积分贡献可以忽略。
作二阶泰勒展开可得
f(x)=f(x0)+21f′′(x0)(x−x0)2+higher-order terms.
在极大值处,一阶项为零。用这一二次表达式替换 f,并用 g(x0) 替换 g(x),得到
I(n)≈enf(x0)g(x0)∫−∞∞exp[−2n∣f′′(x0)∣(x−x0)2]dx.
计算高斯积分,便得到首阶公式
I(n)∼enf(x0)g(x0)n∣f′′(x0)∣2π(n→∞).
这里,∼ 表示两式之比趋于一。这一近似同时给出了主导高度 enf(x0) 和与 n−1/2 成正比的有效宽度。
将积分区间扩展至整个实数轴是渐近分析中的一个步骤,并非假定原积分域无限。当峰的宽度相对于其到边界的距离变得很小时,这一步便有了依据。
为什么会出现高斯分布
自然的局部坐标为
u=n(x−x0).
对于固定的 u,有
n[f(x0+nu)−f(x0)]⟶21f′′(x0)u2.
因此,在极大值附近重新缩放坐标后,指数函数呈现出正态分布的形状。在这一尺度下,三次及更高阶项的影响逐渐减小。
在函数足够光滑,且余项与尾部得到适当控制的条件下,积分具有更完整的展开式:
I(n)=enf(x0)g(x0)n∣f′′(x0)∣2π[1+nc1+n2c2+⋯].
各系数取决于 f 和 g 在极大值处的各阶导数。在标准的非退化、固定维数条件下,用大O记号表示,首阶公式的相对误差为 O(n−1)。这一误差阶所需的假设,比仅要求极大值和二阶导数存在更强。
多元形式
对于 x∈Rd,考虑
I(n)=∫Denf(x)g(x)dx.
假设 f 在内部点 x0 处具有唯一的主导极大值,并定义
H=−∇2f(x0),
其中,∇2f(x0) 是海森矩阵。如果 H 是正定矩阵,则
I(n)∼enf(x0)g(x0)(n2π)d/2detH1.
行列式反映了峰在所有方向上的体积。相应的局部多元正态分布的均值为 x0,协方差为
H 的特征值描述了各方向的曲率:特征值大,意味着该方向上的分布较窄、较集中;特征值小,则意味着该方向较宽。
一种常用的形式不显式引入集中参数。对于
Z=∫eℓ(x)dx,
令 x^ 为使 ℓ 取极大值的点,并设
A=−∇2ℓ(x^).
则
Z≈eℓ(x^)(2π)d/2(detA)−1/2.
如果没有明确的极限序列,这就只是一种局部近似,而不能自动保证其渐近准确性。
贝叶斯推断
后验近似
对于数据 y 和连续参数向量 θ,后验分布为
p(θ∣y)=p(y)p(y∣θ)p(θ).
定义未归一化的对数后验密度
ℓ(θ)=logp(y∣θ)+logp(θ),
它结合了似然函数和先验分布。令
θ^=θargmaxℓ(θ)
为最大后验估计,并令
A=−∇2ℓ(θ^).
如果众数位于参数域内部,且 A 为正定矩阵,则拉普拉斯近似为
p(θ∣y)≈N(θ^,A−1).
因此,近似的协方差矩阵,就是对数后验密度在众数处的负海森矩阵的逆。
按这种构造方式,高斯分布的均值等于选定的后验众数。它不一定等于精确的后验均值,尤其是在后验分布偏斜时。
边际似然
边际似然也称模型证据,其表达式为
p(y)=∫p(y∣θ)p(θ)dθ.
它的拉普拉斯近似为
p(y)≈p(y∣θ^)p(θ^)(2π)d/2(detA)−1/2,
或者,取对数后,
logp(y)≈ℓ(θ^)+2dlog(2π)−21logdetA.
这一区分体现了峰值密度与积分概率质量的不同:一个高而窄的峰,其总质量可能小于一个低而宽的峰。
对于参数维数固定、样本量为 n 的正则模型,曲率通常随 n 成比例增长。在适当的先验假设和正则性条件下,可得
logp(y)=logp(y∣θ^ML)−2dlogn+O(1),
其中,θ^ML 为最大似然估计。保留上式显式列出的项并乘以 −2,便得到贝叶斯信息准则:
BIC=−2logp(y∣θ^ML)+dlogn.
这一关系是渐近关系,并不意味着贝叶斯信息准则与完整的拉普拉斯近似相同。
期望与预测
后验期望值可以写成比值:
E[h(θ)∣y]=∫eℓ(θ)dθ∫h(θ)eℓ(θ)dθ.
一种方法是在拟合的高斯分布下计算期望;另一种方法则分别近似分子和分母。对于取正值且足够光滑的 h,可以使用修改后的对数被积函数 ℓ+logh 来处理分子。这些方法在有限样本下不一定给出相同的结果。
示例:阶乘积分
对于正整数 n,由伽马函数可得到阶乘的积分表示:
n!=∫0∞tne−tdt.
令 t=nx,则
n!=nn+1∫0∞exp[n(logx−x)]dx.
设
f(x)=logx−x.
其唯一的极大值位于 x0=1,且
f(1)=−1,f′′(1)=−1.
因此,由拉普拉斯公式可得
n!∼nn+1e−nn2π=2πn(en)n,
这就是斯特林近似的首项。拉普拉斯展开的更高阶项可以给出进一步的修正。
数值实现
典型的实现过程主要包括三个步骤:
- 定位众数。 对对数被积函数或对数后验密度进行数值优化。牛顿法利用局部梯度和曲率信息。
- 计算局部曲率。 求出众数处的负海森矩阵。自动微分可以提供导数,无须选择有限差分步长。
- 计算高斯分布相关量。 利用矩阵分解计算对数行列式,并求解线性方程组。
如果 A=LLT 是一个Cholesky分解,则
logdetA=2i=1∑dlogLii.
在对数尺度上计算有助于防止上溢和下溢。求解包含 A 的线性方程组,而不是显式构造其逆矩阵,通常能提高计算效率和数值稳定性。
仅仅优化成功,并不能证明近似有效。驻点可能是鞍点;即使是真正的局部极大值,也未必贡献了积分的大部分数值。
局限与扩展
多个众数
单个高斯分布只能描述一个峰。如果多个相互充分分离、非退化的内部众数都有显著贡献,可以将各自的积分近似相加:
Z≈k∑eℓ(x^k)(2π)d/2(detAk)−1/2.
归一化后,便得到一个高斯混合模型,其权重反映的是近似的积分质量,而不只是峰高。遗漏重要的众数仍然是一个显著的误差来源。
边界与约束
如果极大值位于边界,通常的内部极大值公式一般不再适用。对于光滑边界上导数为零的极大值,可能需要采用截断高斯分布来处理。如果沿边界法向的导数非零,那么该方向上的集中尺度可能是 n−1,而非 n−1/2。
将受约束参数变换到无约束坐标可能有所帮助,但变换后的积分密度必须包含相应的雅可比行列式。
退化曲率与偏斜
如果海森矩阵是奇异的,二次项就无法确定所有方向上的集中程度。例如,
∫−∞∞e−nx4dx=n−1/4∫−∞∞e−u4du.
其宽度按 n−1/4 缩放,因此通常的高斯公式失效。
强烈的偏斜、重尾以及约束较弱的方向,也可能使局部曲率无法充分描述整体质量分布。在这些情况下,分布的中心部分可能得到较合理的近似,而尾部概率仍不准确。
参数化与维数
在一种参数化下得到的高斯近似,经过非线性变换后通常不再是高斯分布。密度的众数也依赖于参数化方式。正确处理雅可比行列式可以保持精确积分不变,但有限阶拉普拉斯近似在所保留的渐近阶之外可能有所不同。
标准误差结论通常假定维数在集中程度提高时保持固定。如果参数个数随样本量增长,误差就可能累积,需要另行开展高维分析。
相关近似方法
马尔可夫链蒙特卡洛采用采样,而不是单一的局部二次展开。重要性采样可以使用拉普拉斯高斯近似作为提议分布,前提是其支撑集和尾部能够充分覆盖目标分布。变分推断则通过某个优化准则来拟合近似分布;即使该分布是高斯分布,其参数也不一定与拉普拉斯近似的众数和曲率相匹配。