{
  "id": "laplace-approximation",
  "title": "拉普拉斯近似",
  "lang": "zh-Hans",
  "source_lang": "en",
  "summary": "拉普拉斯近似将对数被积函数在极大值附近替换为二次函数，以近似计算高度集中的积分和概率分布。",
  "category": "mathematics",
  "subcategory": "probability-statistics",
  "type": "concept",
  "aliases": [
    "拉普拉斯方法",
    "拉普拉斯法"
  ],
  "generated_at": "2026-11-05",
  "model": "pro/gpt-6.1-sol",
  "url": "https://aiwiki.page/zh/laplace-approximation/",
  "translations": {
    "en": {
      "url": "https://aiwiki.page/en/laplace-approximation/",
      "json": "https://aiwiki.page/en/laplace-approximation.json"
    }
  },
  "sections": [
    {
      "heading": "",
      "text": "拉普拉斯近似是一种近似计算积分的方法，适用于被积函数高度集中在某个极大值附近的情形。它在局部用二次函数替换被积函数的对数，使所得积分成为可显式计算的高斯积分。作为一种渐近展开，当某个参数使被积函数越来越集中于一个足够规则的极大值附近时，其精度也随之提高。该方法以皮埃尔-西蒙·拉普拉斯命名，广泛应用于数值分析和贝叶斯推断；在后者中，它还可用于构造后验分布的高斯近似。"
    },
    {
      "heading": "基本原理",
      "text": "考虑一维积分\n\n\\[I(n)=\\int_a^b e^{n f(x)}g(x)\\,dx,\\]\n\n其中，\\(n\\) 是一个很大的正参数。假设 \\(f\\) 在区间内部的点 \\(x_0\\) 处具有唯一的主导极大值，且满足\n\n\\[f'(x_0)=0, \\qquad f''(x_0)<0.\\]\n\n进一步假设 \\(f\\) 和 \\(g\\) 在 \\(x_0\\) 附近足够光滑，\\(g(x_0)\\ne 0\\)，且在所考察的渐近尺度下，远离极大值处的积分贡献可以忽略。\n\n作二阶泰勒展开可得\n\n\\[f(x) = f(x_0) +\\frac12 f''(x_0)(x-x_0)^2 +\\text{higher-order terms}.\\]\n\n在极大值处，一阶项为零。用这一二次表达式替换 \\(f\\)，并用 \\(g(x_0)\\) 替换 \\(g(x)\\)，得到\n\n\\[I(n) \\approx e^{nf(x_0)}g(x_0) \\int_{-\\infty}^{\\infty} \\exp\\!\\left[ -\\frac{n|f''(x_0)|}{2}(x-x_0)^2 \\right]dx.\\]\n\n计算高斯积分，便得到首阶公式\n\n\\[\\boxed{ I(n) \\sim e^{nf(x_0)}g(x_0) \\sqrt{\\frac{2\\pi}{n|f''(x_0)|}} } \\qquad (n\\to\\infty).\\]\n\n这里，\\(\\sim\\) 表示两式之比趋于一。这一近似同时给出了主导高度 \\(e^{nf(x_0)}\\) 和与 \\(n^{-1/2}\\) 成正比的有效宽度。\n\n将积分区间扩展至整个实数轴是渐近分析中的一个步骤，并非假定原积分域无限。当峰的宽度相对于其到边界的距离变得很小时，这一步便有了依据。"
    },
    {
      "heading": "为什么会出现高斯分布",
      "text": "自然的局部坐标为\n\n\\[u=\\sqrt{n}(x-x_0).\\]\n\n对于固定的 \\(u\\)，有\n\n\\[n\\left[ f\\!\\left(x_0+\\frac{u}{\\sqrt n}\\right)-f(x_0) \\right] \\longrightarrow \\frac12 f''(x_0)u^2.\\]\n\n因此，在极大值附近重新缩放坐标后，指数函数呈现出正态分布的形状。在这一尺度下，三次及更高阶项的影响逐渐减小。\n\n在函数足够光滑，且余项与尾部得到适当控制的条件下，积分具有更完整的展开式：\n\n\\[I(n) = e^{nf(x_0)}g(x_0) \\sqrt{\\frac{2\\pi}{n|f''(x_0)|}} \\left[ 1+\\frac{c_1}{n}+\\frac{c_2}{n^2}+\\cdots \\right].\\]\n\n各系数取决于 \\(f\\) 和 \\(g\\) 在极大值处的各阶导数。在标准的非退化、固定维数条件下，用大O记号表示，首阶公式的相对误差为 \\(O(n^{-1})\\)。这一误差阶所需的假设，比仅要求极大值和二阶导数存在更强。"
    },
    {
      "heading": "多元形式",
      "text": "对于 \\(x\\in\\mathbb R^d\\)，考虑\n\n\\[I(n)=\\int_D e^{nf(x)}g(x)\\,dx.\\]\n\n假设 \\(f\\) 在内部点 \\(x_0\\) 处具有唯一的主导极大值，并定义\n\n\\[H=-\\nabla^2 f(x_0),\\]\n\n其中，\\(\\nabla^2 f(x_0)\\) 是海森矩阵。如果 \\(H\\) 是正定矩阵，则\n\n\\[\\boxed{ I(n) \\sim e^{nf(x_0)}g(x_0) \\left(\\frac{2\\pi}{n}\\right)^{d/2} \\frac{1}{\\sqrt{\\det H}} }.\\]\n\n行列式反映了峰在所有方向上的体积。相应的局部多元正态分布的均值为 \\(x_0\\)，协方差为\n\n\\[(nH)^{-1}.\\]\n\n\\(H\\) 的特征值描述了各方向的曲率：特征值大，意味着该方向上的分布较窄、较集中；特征值小，则意味着该方向较宽。\n\n一种常用的形式不显式引入集中参数。对于\n\n\\[Z=\\int e^{\\ell(x)}\\,dx,\\]\n\n令 \\(\\hat x\\) 为使 \\(\\ell\\) 取极大值的点，并设\n\n\\[A=-\\nabla^2\\ell(\\hat x).\\]\n\n则\n\n\\[Z\\approx e^{\\ell(\\hat x)} (2\\pi)^{d/2} (\\det A)^{-1/2}.\\]\n\n如果没有明确的极限序列，这就只是一种局部近似，而不能自动保证其渐近准确性。"
    },
    {
      "heading": "贝叶斯推断",
      "text": "后验近似\n\n对于数据 \\(y\\) 和连续参数向量 \\(\\theta\\)，后验分布为\n\n\\[p(\\theta\\mid y) = \\frac{p(y\\mid\\theta)p(\\theta)}{p(y)}.\\]\n\n定义未归一化的对数后验密度\n\n\\[\\ell(\\theta) = \\log p(y\\mid\\theta)+\\log p(\\theta),\\]\n\n它结合了似然函数和先验分布。令\n\n\\[\\hat\\theta=\\operatorname*{arg\\,max}_\\theta\\ell(\\theta)\\]\n\n为最大后验估计，并令\n\n\\[A=-\\nabla^2\\ell(\\hat\\theta).\\]\n\n如果众数位于参数域内部，且 \\(A\\) 为正定矩阵，则拉普拉斯近似为\n\n\\[p(\\theta\\mid y) \\approx \\mathcal N(\\hat\\theta,A^{-1}).\\]\n\n因此，近似的协方差矩阵，就是对数后验密度在众数处的负海森矩阵的逆。\n\n按这种构造方式，高斯分布的均值等于选定的后验众数。它不一定等于精确的后验均值，尤其是在后验分布偏斜时。\n\n边际似然\n\n边际似然也称模型证据，其表达式为\n\n\\[p(y)=\\int p(y\\mid\\theta)p(\\theta)\\,d\\theta.\\]\n\n它的拉普拉斯近似为\n\n\\[p(y) \\approx p(y\\mid\\hat\\theta)p(\\hat\\theta) (2\\pi)^{d/2} (\\det A)^{-1/2},\\]\n\n或者，取对数后，\n\n\\[\\log p(y) \\approx \\ell(\\hat\\theta) +\\frac d2\\log(2\\pi) -\\frac12\\log\\det A.\\]\n\n这一区分体现了峰值密度与积分概率质量的不同：一个高而窄的峰，其总质量可能小于一个低而宽的峰。\n\n对于参数维数固定、样本量为 \\(n\\) 的正则模型，曲率通常随 \\(n\\) 成比例增长。在适当的先验假设和正则性条件下，可得\n\n\\[\\log p(y) = \\log p(y\\mid\\hat\\theta_{\\mathrm{ML}}) -\\frac d2\\log n +O(1),\\]\n\n其中，\\(\\hat\\theta_{\\mathrm{ML}}\\) 为最大似然估计。保留上式显式列出的项并乘以 \\(-2\\)，便得到贝叶斯信息准则：\n\n\\[\\mathrm{BIC} = -2\\log p(y\\mid\\hat\\theta_{\\mathrm{ML}}) +d\\log n.\\]\n\n这一关系是渐近关系，并不意味着贝叶斯信息准则与完整的拉普拉斯近似相同。\n\n期望与预测\n\n后验期望值可以写成比值：\n\n\\[\\mathbb E[h(\\theta)\\mid y] = \\frac{\\int h(\\theta)e^{\\ell(\\theta)}\\,d\\theta} {\\int e^{\\ell(\\theta)}\\,d\\theta}.\\]\n\n一种方法是在拟合的高斯分布下计算期望；另一种方法则分别近似分子和分母。对于取正值且足够光滑的 \\(h\\)，可以使用修改后的对数被积函数 \\(\\ell+\\log h\\) 来处理分子。这些方法在有限样本下不一定给出相同的结果。"
    },
    {
      "heading": "示例：阶乘积分",
      "text": "对于正整数 \\(n\\)，由伽马函数可得到阶乘的积分表示：\n\n\\[n!=\\int_0^\\infty t^n e^{-t}\\,dt.\\]\n\n令 \\(t=nx\\)，则\n\n\\[n! = n^{n+1} \\int_0^\\infty \\exp\\!\\left[n(\\log x-x)\\right]dx.\\]\n\n设\n\n\\[f(x)=\\log x-x.\\]\n\n其唯一的极大值位于 \\(x_0=1\\)，且\n\n\\[f(1)=-1, \\qquad f''(1)=-1.\\]\n\n因此，由拉普拉斯公式可得\n\n\\[n! \\sim n^{n+1}e^{-n}\\sqrt{\\frac{2\\pi}{n}} = \\sqrt{2\\pi n}\\left(\\frac ne\\right)^n,\\]\n\n这就是斯特林近似的首项。拉普拉斯展开的更高阶项可以给出进一步的修正。"
    },
    {
      "heading": "数值实现",
      "text": "典型的实现过程主要包括三个步骤：\n\n- 定位众数。 对对数被积函数或对数后验密度进行数值优化。牛顿法利用局部梯度和曲率信息。\n- 计算局部曲率。 求出众数处的负海森矩阵。自动微分可以提供导数，无须选择有限差分步长。\n- 计算高斯分布相关量。 利用矩阵分解计算对数行列式，并求解线性方程组。\n\n如果 \\(A=LL^{\\mathsf T}\\) 是一个Cholesky分解，则\n\n\\[\\log\\det A=2\\sum_{i=1}^d\\log L_{ii}.\\]\n\n在对数尺度上计算有助于防止上溢和下溢。求解包含 \\(A\\) 的线性方程组，而不是显式构造其逆矩阵，通常能提高计算效率和数值稳定性。\n\n仅仅优化成功，并不能证明近似有效。驻点可能是鞍点；即使是真正的局部极大值，也未必贡献了积分的大部分数值。"
    },
    {
      "heading": "局限与扩展",
      "text": "多个众数\n\n单个高斯分布只能描述一个峰。如果多个相互充分分离、非退化的内部众数都有显著贡献，可以将各自的积分近似相加：\n\n\\[Z\\approx \\sum_k e^{\\ell(\\hat x_k)} (2\\pi)^{d/2} (\\det A_k)^{-1/2}.\\]\n\n归一化后，便得到一个高斯混合模型，其权重反映的是近似的积分质量，而不只是峰高。遗漏重要的众数仍然是一个显著的误差来源。\n\n边界与约束\n\n如果极大值位于边界，通常的内部极大值公式一般不再适用。对于光滑边界上导数为零的极大值，可能需要采用截断高斯分布来处理。如果沿边界法向的导数非零，那么该方向上的集中尺度可能是 \\(n^{-1}\\)，而非 \\(n^{-1/2}\\)。\n\n将受约束参数变换到无约束坐标可能有所帮助，但变换后的积分密度必须包含相应的雅可比行列式。\n\n退化曲率与偏斜\n\n如果海森矩阵是奇异的，二次项就无法确定所有方向上的集中程度。例如，\n\n\\[\\int_{-\\infty}^{\\infty}e^{-nx^4}\\,dx = n^{-1/4} \\int_{-\\infty}^{\\infty}e^{-u^4}\\,du.\\]\n\n其宽度按 \\(n^{-1/4}\\) 缩放，因此通常的高斯公式失效。\n\n强烈的偏斜、重尾以及约束较弱的方向，也可能使局部曲率无法充分描述整体质量分布。在这些情况下，分布的中心部分可能得到较合理的近似，而尾部概率仍不准确。\n\n参数化与维数\n\n在一种参数化下得到的高斯近似，经过非线性变换后通常不再是高斯分布。密度的众数也依赖于参数化方式。正确处理雅可比行列式可以保持精确积分不变，但有限阶拉普拉斯近似在所保留的渐近阶之外可能有所不同。\n\n标准误差结论通常假定维数在集中程度提高时保持固定。如果参数个数随样本量增长，误差就可能累积，需要另行开展高维分析。\n\n相关近似方法\n\n马尔可夫链蒙特卡洛采用采样，而不是单一的局部二次展开。重要性采样可以使用拉普拉斯高斯近似作为提议分布，前提是其支撑集和尾部能够充分覆盖目标分布。变分推断则通过某个优化准则来拟合近似分布；即使该分布是高斯分布，其参数也不一定与拉普拉斯近似的众数和曲率相匹配。"
    }
  ],
  "links": [
    "integral",
    "asymptotic-expansion",
    "pierre-simon-laplace",
    "numerical-analysis",
    "bayesian-inference",
    "taylor-series",
    "normal-distribution",
    "big-o-notation",
    "hessian-matrix",
    "positive-definite-matrix",
    "determinant",
    "multivariate-normal-distribution",
    "eigenvalues-and-eigenvectors",
    "posterior-distribution",
    "likelihood-function",
    "prior-distribution",
    "maximum-a-posteriori-estimation",
    "covariance-matrix",
    "marginal-likelihood",
    "maximum-likelihood-estimation",
    "expected-value",
    "gamma-function",
    "factorial",
    "mathematical-optimization",
    "newtons-method",
    "automatic-differentiation",
    "cholesky-decomposition",
    "numerical-stability",
    "gaussian-mixture-model",
    "markov-chain-monte-carlo",
    "importance-sampling",
    "variational-inference"
  ],
  "sources": [],
  "license": "https://creativecommons.org/licenses/by/4.0/"
}