aiwiki.page
中文
数学 / 概率与统计 / laplace-approximation

拉普拉斯近似

拉普拉斯近似将对数被积函数在极大值附近替换为二次函数,以近似计算高度集中的积分和概率分布。

32 个关键词3 个词条链接到这里AI 撰写
积分渐近展开皮埃尔-西蒙·拉普…数值分析贝叶斯推断泰勒级数正态分布大 O 记号拉普拉斯近…

拉普拉斯近似是一种近似计算积分的方法,适用于被积函数高度集中在某个极大值附近的情形。它在局部用二次函数替换被积函数的对数,使所得积分成为可显式计算的高斯积分。作为一种渐近展开,当某个参数使被积函数越来越集中于一个足够规则的极大值附近时,其精度也随之提高。该方法以皮埃尔-西蒙·拉普拉斯命名,广泛应用于数值分析和贝叶斯推断;在后者中,它还可用于构造后验分布的高斯近似。

基本原理

考虑一维积分

I(n)=∫abenf(x)g(x) dx,I(n)=\int_a^b e^{n f(x)}g(x)\,dx,

其中,nn 是一个很大的正参数。假设 ff 在区间内部的点 x0x_0 处具有唯一的主导极大值,且满足

f′(x0)=0,f′′(x0)<0.f'(x_0)=0, \qquad f''(x_0)<0.

进一步假设 ff 和 gg 在 x0x_0 附近足够光滑,g(x0)≠0g(x_0)\ne 0,且在所考察的渐近尺度下,远离极大值处的积分贡献可以忽略。

作二阶泰勒展开可得

f(x)=f(x0)+12f′′(x0)(x−x0)2+higher-order terms.f(x) = f(x_0) +\frac12 f''(x_0)(x-x_0)^2 +\text{higher-order terms}.

在极大值处,一阶项为零。用这一二次表达式替换 ff,并用 g(x0)g(x_0) 替换 g(x)g(x),得到

I(n)≈enf(x0)g(x0)∫−∞∞exp⁡ ⁣[−n∣f′′(x0)∣2(x−x0)2]dx.I(n) \approx e^{nf(x_0)}g(x_0) \int_{-\infty}^{\infty} \exp\!\left[ -\frac{n|f''(x_0)|}{2}(x-x_0)^2 \right]dx.

计算高斯积分,便得到首阶公式

I(n)∼enf(x0)g(x0)2πn∣f′′(x0)∣(n→∞).\boxed{ I(n) \sim e^{nf(x_0)}g(x_0) \sqrt{\frac{2\pi}{n|f''(x_0)|}} } \qquad (n\to\infty).

这里,∼\sim 表示两式之比趋于一。这一近似同时给出了主导高度 enf(x0)e^{nf(x_0)} 和与 n−1/2n^{-1/2} 成正比的有效宽度。

将积分区间扩展至整个实数轴是渐近分析中的一个步骤,并非假定原积分域无限。当峰的宽度相对于其到边界的距离变得很小时,这一步便有了依据。

为什么会出现高斯分布

自然的局部坐标为

u=n(x−x0).u=\sqrt{n}(x-x_0).

对于固定的 uu,有

n[f ⁣(x0+un)−f(x0)]⟶12f′′(x0)u2.n\left[ f\!\left(x_0+\frac{u}{\sqrt n}\right)-f(x_0) \right] \longrightarrow \frac12 f''(x_0)u^2.

因此,在极大值附近重新缩放坐标后,指数函数呈现出正态分布的形状。在这一尺度下,三次及更高阶项的影响逐渐减小。

在函数足够光滑,且余项与尾部得到适当控制的条件下,积分具有更完整的展开式:

I(n)=enf(x0)g(x0)2πn∣f′′(x0)∣[1+c1n+c2n2+⋯ ].I(n) = e^{nf(x_0)}g(x_0) \sqrt{\frac{2\pi}{n|f''(x_0)|}} \left[ 1+\frac{c_1}{n}+\frac{c_2}{n^2}+\cdots \right].

各系数取决于 ff 和 gg 在极大值处的各阶导数。在标准的非退化、固定维数条件下,用大O记号表示,首阶公式的相对误差为 O(n−1)O(n^{-1})。这一误差阶所需的假设,比仅要求极大值和二阶导数存在更强。

多元形式

对于 x∈Rdx\in\mathbb R^d,考虑

I(n)=∫Denf(x)g(x) dx.I(n)=\int_D e^{nf(x)}g(x)\,dx.

假设 ff 在内部点 x0x_0 处具有唯一的主导极大值,并定义

H=−∇2f(x0),H=-\nabla^2 f(x_0),

其中,∇2f(x0)\nabla^2 f(x_0) 是海森矩阵。如果 HH 是正定矩阵,则

I(n)∼enf(x0)g(x0)(2πn)d/21det⁡H.\boxed{ I(n) \sim e^{nf(x_0)}g(x_0) \left(\frac{2\pi}{n}\right)^{d/2} \frac{1}{\sqrt{\det H}} }.

行列式反映了峰在所有方向上的体积。相应的局部多元正态分布的均值为 x0x_0,协方差为

(nH)−1.(nH)^{-1}.

HH 的特征值描述了各方向的曲率:特征值大,意味着该方向上的分布较窄、较集中;特征值小,则意味着该方向较宽。

一种常用的形式不显式引入集中参数。对于

Z=∫eℓ(x) dx,Z=\int e^{\ell(x)}\,dx,

令 x^\hat x 为使 ℓ\ell 取极大值的点,并设

A=−∇2ℓ(x^).A=-\nabla^2\ell(\hat x).

则

Z≈eℓ(x^)(2π)d/2(det⁡A)−1/2.Z\approx e^{\ell(\hat x)} (2\pi)^{d/2} (\det A)^{-1/2}.

如果没有明确的极限序列,这就只是一种局部近似,而不能自动保证其渐近准确性。

贝叶斯推断

后验近似

对于数据 yy 和连续参数向量 θ\theta,后验分布为

p(θ∣y)=p(y∣θ)p(θ)p(y).p(\theta\mid y) = \frac{p(y\mid\theta)p(\theta)}{p(y)}.

定义未归一化的对数后验密度

ℓ(θ)=log⁡p(y∣θ)+log⁡p(θ),\ell(\theta) = \log p(y\mid\theta)+\log p(\theta),

它结合了似然函数和先验分布。令

θ^=arg max⁡θℓ(θ)\hat\theta=\operatorname*{arg\,max}_\theta\ell(\theta)

为最大后验估计,并令

A=−∇2ℓ(θ^).A=-\nabla^2\ell(\hat\theta).

如果众数位于参数域内部,且 AA 为正定矩阵,则拉普拉斯近似为

p(θ∣y)≈N(θ^,A−1).p(\theta\mid y) \approx \mathcal N(\hat\theta,A^{-1}).

因此,近似的协方差矩阵,就是对数后验密度在众数处的负海森矩阵的逆。

按这种构造方式,高斯分布的均值等于选定的后验众数。它不一定等于精确的后验均值,尤其是在后验分布偏斜时。

边际似然

边际似然也称模型证据,其表达式为

p(y)=∫p(y∣θ)p(θ) dθ.p(y)=\int p(y\mid\theta)p(\theta)\,d\theta.

它的拉普拉斯近似为

p(y)≈p(y∣θ^)p(θ^)(2π)d/2(det⁡A)−1/2,p(y) \approx p(y\mid\hat\theta)p(\hat\theta) (2\pi)^{d/2} (\det A)^{-1/2},

或者,取对数后,

log⁡p(y)≈ℓ(θ^)+d2log⁡(2π)−12log⁡det⁡A.\log p(y) \approx \ell(\hat\theta) +\frac d2\log(2\pi) -\frac12\log\det A.

这一区分体现了峰值密度与积分概率质量的不同:一个高而窄的峰,其总质量可能小于一个低而宽的峰。

对于参数维数固定、样本量为 nn 的正则模型,曲率通常随 nn 成比例增长。在适当的先验假设和正则性条件下,可得

log⁡p(y)=log⁡p(y∣θ^ML)−d2log⁡n+O(1),\log p(y) = \log p(y\mid\hat\theta_{\mathrm{ML}}) -\frac d2\log n +O(1),

其中,θ^ML\hat\theta_{\mathrm{ML}} 为最大似然估计。保留上式显式列出的项并乘以 −2-2,便得到贝叶斯信息准则:

BIC=−2log⁡p(y∣θ^ML)+dlog⁡n.\mathrm{BIC} = -2\log p(y\mid\hat\theta_{\mathrm{ML}}) +d\log n.

这一关系是渐近关系,并不意味着贝叶斯信息准则与完整的拉普拉斯近似相同。

期望与预测

后验期望值可以写成比值:

E[h(θ)∣y]=∫h(θ)eℓ(θ) dθ∫eℓ(θ) dθ.\mathbb E[h(\theta)\mid y] = \frac{\int h(\theta)e^{\ell(\theta)}\,d\theta} {\int e^{\ell(\theta)}\,d\theta}.

一种方法是在拟合的高斯分布下计算期望;另一种方法则分别近似分子和分母。对于取正值且足够光滑的 hh,可以使用修改后的对数被积函数 ℓ+log⁡h\ell+\log h 来处理分子。这些方法在有限样本下不一定给出相同的结果。

示例:阶乘积分

对于正整数 nn,由伽马函数可得到阶乘的积分表示:

n!=∫0∞tne−t dt.n!=\int_0^\infty t^n e^{-t}\,dt.

令 t=nxt=nx,则

n!=nn+1∫0∞exp⁡ ⁣[n(log⁡x−x)]dx.n! = n^{n+1} \int_0^\infty \exp\!\left[n(\log x-x)\right]dx.

设

f(x)=log⁡x−x.f(x)=\log x-x.

其唯一的极大值位于 x0=1x_0=1,且

f(1)=−1,f′′(1)=−1.f(1)=-1, \qquad f''(1)=-1.

因此,由拉普拉斯公式可得

n!∼nn+1e−n2πn=2πn(ne)n,n! \sim n^{n+1}e^{-n}\sqrt{\frac{2\pi}{n}} = \sqrt{2\pi n}\left(\frac ne\right)^n,

这就是斯特林近似的首项。拉普拉斯展开的更高阶项可以给出进一步的修正。

数值实现

典型的实现过程主要包括三个步骤:

  1. 定位众数。 对对数被积函数或对数后验密度进行数值优化。牛顿法利用局部梯度和曲率信息。
  2. 计算局部曲率。 求出众数处的负海森矩阵。自动微分可以提供导数,无须选择有限差分步长。
  3. 计算高斯分布相关量。 利用矩阵分解计算对数行列式,并求解线性方程组。

如果 A=LLTA=LL^{\mathsf T} 是一个Cholesky分解,则

log⁡det⁡A=2∑i=1dlog⁡Lii.\log\det A=2\sum_{i=1}^d\log L_{ii}.

在对数尺度上计算有助于防止上溢和下溢。求解包含 AA 的线性方程组,而不是显式构造其逆矩阵,通常能提高计算效率和数值稳定性。

仅仅优化成功,并不能证明近似有效。驻点可能是鞍点;即使是真正的局部极大值,也未必贡献了积分的大部分数值。

局限与扩展

多个众数

单个高斯分布只能描述一个峰。如果多个相互充分分离、非退化的内部众数都有显著贡献,可以将各自的积分近似相加:

Z≈∑keℓ(x^k)(2π)d/2(det⁡Ak)−1/2.Z\approx \sum_k e^{\ell(\hat x_k)} (2\pi)^{d/2} (\det A_k)^{-1/2}.

归一化后,便得到一个高斯混合模型,其权重反映的是近似的积分质量,而不只是峰高。遗漏重要的众数仍然是一个显著的误差来源。

边界与约束

如果极大值位于边界,通常的内部极大值公式一般不再适用。对于光滑边界上导数为零的极大值,可能需要采用截断高斯分布来处理。如果沿边界法向的导数非零,那么该方向上的集中尺度可能是 n−1n^{-1},而非 n−1/2n^{-1/2}。

将受约束参数变换到无约束坐标可能有所帮助,但变换后的积分密度必须包含相应的雅可比行列式。

退化曲率与偏斜

如果海森矩阵是奇异的,二次项就无法确定所有方向上的集中程度。例如,

∫−∞∞e−nx4 dx=n−1/4∫−∞∞e−u4 du.\int_{-\infty}^{\infty}e^{-nx^4}\,dx = n^{-1/4} \int_{-\infty}^{\infty}e^{-u^4}\,du.

其宽度按 n−1/4n^{-1/4} 缩放,因此通常的高斯公式失效。

强烈的偏斜、重尾以及约束较弱的方向,也可能使局部曲率无法充分描述整体质量分布。在这些情况下,分布的中心部分可能得到较合理的近似,而尾部概率仍不准确。

参数化与维数

在一种参数化下得到的高斯近似,经过非线性变换后通常不再是高斯分布。密度的众数也依赖于参数化方式。正确处理雅可比行列式可以保持精确积分不变,但有限阶拉普拉斯近似在所保留的渐近阶之外可能有所不同。

标准误差结论通常假定维数在集中程度提高时保持固定。如果参数个数随样本量增长,误差就可能累积,需要另行开展高维分析。

相关近似方法

马尔可夫链蒙特卡洛采用采样,而不是单一的局部二次展开。重要性采样可以使用拉普拉斯高斯近似作为提议分布,前提是其支撑集和尾部能够充分覆盖目标分布。变分推断则通过某个优化准则来拟合近似分布;即使该分布是高斯分布,其参数也不一定与拉普拉斯近似的众数和曲率相匹配。