哈密顿蒙特卡洛(HMC)是一种用于从连续概率分布中采样的马尔可夫链蒙特卡洛方法。它在所关注的变量之外引入辅助动量变量,并通过模拟哈密顿力学来生成候选状态。HMC 将有方向的运动与概率性的接受规则相结合,能够在分布中进行较大距离的移动,避免许多随机游走采样器所特有的缓慢、扩散式探索。
该方法在贝叶斯推断中尤为重要,因为后验分布可能涉及数百乃至数千个相互关联的参数,而且其表达式中可能含有未知的归一化常数。HMC 利用对数密度的导数来引导运动,同时保持目标分布不变,而不只是寻找其最大值。它的效果取决于该分布的几何结构、数值积分方案,以及轨迹长度和步长的选择。
HMC 最初于 1987 年以“混合蒙特卡洛”之名在格点场论中提出,随后成为统计学和概率编程中的一种重要计算方法。现代实现通常结合自动微分、数值参数的自适应调整以及无掉头采样器,以减少手动调参的工作量。
将概率分布视为力学系统
令 表示待采样的变量,其目标密度为
函数 称为势能,与目标密度的负对数仅相差一个加法常数。归一化常数 可能涉及难以计算的积分,但无需实际求出。在贝叶斯应用中, 通常是对数似然函数与对数先验分布密度之和的相反数。HMC 通常需要计算 及其梯度 。
引入辅助动量向量 ,令其服从均值为零、协方差矩阵为对称正定矩阵 的多元正态分布。其动能为
哈密顿量即总能量,
联合密度与 成正比。由于动能与势能可以分离,位置与动量在这一联合分布下相互独立。将动量积分消去后,恰好得到所需的密度 。因此,引入动量扩大了状态空间,却不改变采样目标。
哈密顿方程规定了运动规律:
梯度起着力的作用,使动量发生变化;动量则决定在参数空间中运动的方向与速率。这些是相互耦合的常微分方程,而不是优化规则。轨迹可以通过将动能转化为势能,向密度较低的区域攀升,随后又加速返回密度较高的区域。因此,HMC 并不会使目标密度单调增加。
精确的哈密顿运动既保持总能量守恒,也保持位置与动量联合空间中的体积不变。此外,将动量取反即可使运动反向。这些性质将力学与概率联系起来:体积保持性可防止概率质量受到未被计入的压缩,而能量守恒则保证沿轨迹的联合密度不变。
质量矩阵 是计算上的选择,通常不是统计模型中的物理参数。它控制动量如何转化为速度,进而改变探索过程的特征时间尺度。其定义约定十分重要:按照上述定义,动量的协方差为 ,而速度的协方差为 。有些软件提供的是逆质量矩阵,而非 本身。
采样转移及其数学有效性
一次基本的 HMC 转移从当前位置 出发,首先重新抽取动量 。随后,在选定的时长内模拟哈密顿运动,得到候选状态 。由于数值模拟无法精确保持能量守恒,候选状态以下列概率被接受:
如果提议被拒绝,下一个位置仍为 。之后可以丢弃动量,因为它只是辅助变量,会在下一次迭代时重新抽取。这一构造是 梅特罗波利斯—黑斯廷斯算法的一个实例,但其提议机制采用的是一条较长且具有特定结构的轨迹,而非局部随机位移。
对于标准的可逆、保体积积分器,接受概率仅包含能量差。积分映射的雅可比行列式绝对值为一,因此不需要额外的雅可比修正。形式上,将数值轨迹映射与动量反转复合,会得到一个对合映射,这为证明扩展状态空间上的细致平衡提供了便捷途径。完全重新抽取动量也会保持联合目标分布不变。
接受概率中的修正至关重要。减小数值误差可以提高效率,但有限的积分误差本身并不意味着必须对目标分布作近似:梅特罗波利斯步骤会修正这一误差。在满足转移所需的数学假设、且考虑有限精度计算通常存在的局限的前提下,接受和拒绝这两类转移共同保持所需的平稳分布不变。这与使用未经修正的离散化动力系统不同,后者的平稳分布可能偏离预期的目标分布。
保持分布不变并不等于能够有效探索分布。一个马尔可夫链可能保持某个分布不变,却在其中移动得极其缓慢;轨迹时长与目标分布几何结构的某些组合还可能产生共振。例如,精确积分下的高斯系统具有周期性。若积分时长恰好为一个完整周期,无论最初抽取的动量是什么,系统都会回到起始位置。随机选择积分步数或积分时长,可以减轻这类共振问题。
重新抽取动量使相继生成的轨迹能够探索不同的能量水平。仅靠精确动力学,系统会始终停留在固定能量曲面上,因此无法对完整的联合分布进行采样。部分更新动量而非完全重新抽取动量的变体,可以保留一定的方向持续性,但也需要相应地谨慎构造转移机制。
最后,不变性证明并不能说明有限时长的模拟已经达到平衡。初始条件、支撑集内互不连通的区域以及瓶颈,都可能影响实际结果。HMC 提供了一种构造转移的有效机制;收敛性与精度仍是两个独立问题,必须根据模拟结果加以评估。
蛙跳积分与数值误差
对于统计模型,哈密顿方程通常无法解析求解。因此,标准 HMC 使用蛙跳积分器,也称为 Störmer–Verlet 格式。步长为 时,一步积分为
第一步和最后一步操作分别对动量进行半步更新,中间一步操作则更新位置。相邻的半步更新可以合并,因此,如果尚未计算初始位置处的梯度,一条包含 步的轨迹通常需要计算 次梯度。
蛙跳积分是一种二阶方法:在适当的光滑性假设下,其局部状态误差的阶为 ,在固定积分区间内的全局状态误差的阶为 。对 HMC 而言,更重要的是,它具有可逆性,并且是一种辛积分器。辛积分保留了哈密顿运动的内在几何结构。对于足够规则的系统,只要步长足够小,在实际使用的积分时长内,能量误差往往会保持有界并呈振荡变化,而不是出现持续的人为能量增加或损失。
这些性质解释了为什么直接采用熟悉的高阶微分方程求解器并不一定更有利。通用求解器可能实现较小的局部状态误差,却不保持体积或可逆性。这样一来,它生成的提议就需要额外的修正,或需要以不同的论证来保证其有效性。同样,在单条轨迹内自适应地改变步长,也不一定与通常的 HMC 接受规则兼容。在转移之间进行自适应调整,与在轨迹内部根据状态进行调整,在概念上是不同的。
步长同时决定精度和计算成本。较大的 可能导致接受率低下或数值不稳定;步长过小,则可能耗费大量梯度计算来描绘一条路径,而这条路径本可用更大且稳定的步长充分近似。积分时长约为 。保持 不变而减小 ,会增加计算成本,却未必能让链移动得更远。
高斯目标分布能清楚地展现稳定性问题。若
则
对于角频率为 的单一简谐模态,蛙跳积分具有严格的线性稳定区间 。如果模型同时包含极高频率和极低频率,就必须采用足够小的步长来分辨最快的运动,同时积分足够长的时间,以走完最慢运动的变化过程。这种不匹配是计算困难的主要来源之一。
较大的积分误差通常会被记录为发散转移。发散不仅仅是一次普通的 Metropolis 拒绝:它表明,按照具体实现所采用的误差判据,数值轨迹已无法跟踪预期的动力学演化。相关阈值因软件而异,但根本问题都是数值探索失去了可靠性。
高维几何与质量矩阵预条件化
HMC 的主要优势不只是能够提出跨度更大的移动。它利用局部导数信息,使这些移动与高维分布的几何结构相适应。忽略这种几何结构的随机提议很可能会进入概率微乎其微的区域,尤其是在参数之间高度相关或尺度差异很大的情况下。
一个重要的区别是众数与典型集之间的区别。在 维标准正态分布中,概率密度在原点处最大,但半径平方的均值为 ,方差为 。因此,大部分概率质量集中在半径接近 的区域,而非零点附近。概率质量同时取决于密度和体积。HMC 的设计目标是探索概率质量集中的区域,而不是像数学优化那样反复寻找密度最高的点。
相关性会使等密度轮廓呈狭长形,导致未经尺度调整的探索效率低下。质量矩阵改变了力、动量与速度之间的关系,实际上起到了对动力学进行预条件化的作用。对于协方差为 的高斯目标分布,选择
可使理想的位置动力学满足 。此时所有方向上的频率都相同。等价地说,逆质量矩阵与目标分布的协方差相匹配。不同文献对“度量”“质量矩阵”和“逆质量矩阵”采用不同的约定,容易使这种互逆关系变得不清晰。
对角质量矩阵可以调整各边缘分布的尺度,但无法消除任意的线性相关性。稠密矩阵可以刻画这些相关性,代价是需要平方量级的存储空间和矩阵—向量运算。估计稠密矩阵并对其进行分解也会增加自适应过程的开销。Cholesky分解常用于生成高斯动量并执行相应的线性变换,而无须显式计算矩阵的逆。
固定的质量矩阵处理的是全局线性结构,并不能解决所有棘手的几何问题。即使进行了基于协方差的预条件化,弯曲的脊状区域、随位置变化的局部尺度以及层次模型中的漏斗结构仍可能带来困难。例如,在满足
的层次模型中,较小的 会在 各方向上形成狭窄的区域,而较大的 则允许宽广得多的变化范围。采用非中心化参数化,即令 ,其中 ,会改变这种几何结构。它能否改善采样,还取决于观测数据对各个参数的识别程度。
在对光滑乘积形式目标分布施加严格限制的假设下,渐近分析表明,随着维数增加,蛙跳 HMC 采用 量级的步长,仍可保持非退化的接受率。相应的随机游走 Metropolis 结果则要求提议尺度为 量级。这些结果有助于解释 HMC 良好的维度扩展性,但并不构成普遍适用的运行时间保证:梯度计算成本、依赖结构、曲率以及轨迹选择仍然至关重要。
自适应与无掉头采样器
基本的 HMC 需要选定步长、轨迹长度和质量矩阵。这些选择相互影响。轨迹过短会使采样位置高度相关;轨迹过长则会浪费梯度计算,还可能折返至起始区域附近。无掉头采样器(NUTS)由马修·霍夫曼和安德鲁·格尔曼开发,于 2014 年发表,通过动态停止规则解决轨迹长度的选择问题。
当质量矩阵为常数时,判断轨迹是否掉头的一种简单几何指标是:轨迹两端点之间的位移与某一端点处速度的内积为负。将两端点记为 和 ,可以检查如下表达式:
负值表明运动正折返至路径上已经探索过的部分。更一般的实现可以采用更复杂的判据,尤其是在度量随位置变化的情况下。
仅有停止判据并不足以构成正确的采样器。如果简单地向前积分直到掉头,并始终选择终点,就可能引入偏差,因为这种依赖状态的停止规则会改变提议概率。NUTS 则通过精心设计的可逆选择过程来构造轨迹。一种常见的构造方法是反复将二叉树的规模加倍,沿随机选定的方向扩展,同时检查数值有效性和停止条件。
最初的 NUTS 算法使用辅助切片变量来确定轨迹上符合条件的状态。许多后来的实现采用多项式抽选,按照候选状态的联合密度赋予权重。这两种方法在设计时都考虑了轨迹的构造过程,而不是将停止点视为普通的固定时长 HMC 提议。
步长通常在预热阶段通过对偶平均法进行自适应调整,该方法调整步长的对数,使接受率统计量趋近目标值。统计软件中常用的目标接受率约为 0.8,但这并不是 HMC 的数学常数。较高的目标值通常会带来较小的步长,并提高每单位模拟时间的计算成本。在某些理想化的固定时长 HMC 设置下推导出的渐近最优接受率约为 0.651,但这一结果不能直接套用于所有模型或所有 NUTS 实现。
质量矩阵的自适应调整通常依赖于预热阶段估计的位置变异程度,往往采用逐渐扩大的窗口,并结合正则化。因此,预热既使采样链远离初始状态,也用于学习计算所需的尺度。在标准工作流程中,自适应调整会在开始保留样本之前停止,使后续推断采用固定的转移机制。
最大树深度为 NUTS 的计算量设定了上限,而可能执行的积分步数随树深度呈指数增长。达到这一上限意味着算法是因资源限制而停止,而不是因满足其首选的轨迹停止判据而停止。这与发散不同,也不一定意味着转移不正确,但如果频繁发生,则可能表明探索的计算开销较高或效率较低。
变换、梯度与计算实现
大多数通用 HMC 实现都在无约束实向量空间中运行。因此,对于取值受限于某个区间、正数范围或概率单纯形的参数,需要在积分前进行变换。这些变换不只是为了方便数值计算:它们会改变采样所用坐标下的概率密度。
若将受约束参数表示为 ,则变换后的密度为
其中, 是雅可比矩阵。变换后的势能必须包含雅可比行列式绝对值的负对数。对于正标量 ,有
这里省略了一个加法常数。遗漏最后一项通常会改变所采样的分布。区间约束同样可以用逻辑斯蒂变换处理,而取值于单纯形的参数则需要采用与其维度相适应的变换。
准确计算导数是实现 HMC 的另一项关键要求。自动微分通过对计算机程序中的基本运算应用链式法则来计算导数。反向模式微分特别适合 HMC,因为标量形式的对数密度可能依赖于大量参数。它可以计算出梯度的所有分量,其计算成本通常只相当于执行少数几次原始计算,但内存需求可能相当大。
梯度也可以通过有限差分计算,但这种方法往往成本高昂,而且对扰动尺度敏感。在 维空间中,直接逐坐标计算有限差分时,每次梯度计算所需的密度求值次数与 成正比。对于特定模型,符号求导或精心编写的解析梯度计算代码可能很有效,但会增加实现和验证工作。
计算开销通常主要来自反复计算对数密度和梯度,而非最后的接受概率计算。对于可按 个观测分解为乘积的似然函数,普通 HMC 通常在每个积分步都要计算所有观测的贡献。因此,即使接受概率很高,包含许多积分步的轨迹仍可能耗费大量计算资源。缓存共用的计算结果、利用稀疏结构以及并行计算似然,都可以显著改善性能。
数值实现还必须考虑浮点运算的特性。为避免下溢,通常使用对数密度,而不是直接计算概率的乘积。对数求和、矩阵分解和约束变换等计算的数值稳定性十分重要,因为一次溢出或一个未定义的导数,就可能使原本有效的轨迹提前终止。
离散潜变量带来了另一种限制:普通哈密顿动力学要求坐标可微。有时可以通过求和消去有限离散变量,使 HMC 能够在剩余的连续参数上运行。另一些模型则将 HMC 与针对离散状态的单独更新相结合。密度不光滑的连续参数同样需要特殊处理;仅仅提供一个可计算的导数,并不能保证蛙跳积分能准确描述穿越不连续点时的运动。
诊断、精度与失效模式
评估 HMC 模拟,不能只看提议的接受比例。接近 1 的接受概率可能源于过小的步长或过短的轨迹,而这两者都不能保证高效探索。反过来,即使拒绝率适中,只要被接受的轨迹能在目标分布中移动足够远,采样表现仍可能十分出色。
有效样本量衡量连续抽样之间的依赖性所造成的精度损失。对于标量函数 ,一个常用的渐近表达式为
其中, 是 的滞后 阶自相关系数。在满足适当的平稳性条件及中心极限定理适用条件时,其样本均值的蒙特卡洛标准误近似为
有效样本量针对的是某个待估量,而不是整条链。后验均值、极端分位数和尾部概率的估计精度可能有很大差异。负自相关也可能使估计出的有效样本量超过保留的抽样次数。
多条独立初始化的链可以提供单条轨迹无法提供的信息。潜在尺度缩减因子通常记为 ,用于比较链内变异与链间变异。现代的秩归一化版本和分链版本提高了对某些分布问题及非平稳性问题的敏感度。其值接近 1,支持各条链表现一致的判断,但不能证明所有重要区域都已得到探索。多条链若困在同一个模态中,也可能呈现出误导性的一致。
发散转移值得单独关注,因为它们往往出现在曲率急剧变化的区域。例如,在层次模型的漏斗形结构中,狭窄区域所需的步长可能远小于宽阔区域。如果轨迹在狭窄区域反复失效,那么即使边际轨迹图看起来合理,模拟也可能未能充分反映目标分布的这一部分。梅特罗波利斯校正确保目标分布在形式上保持不变,却不能保证采样过程在实际运行中充分穿行于这类困难区域。
能量诊断考察动量刷新能否使采样过程在不同能级之间充分移动。能量贝叶斯缺失信息比例通常缩写为 E-BFMI,它将相邻能量变化的尺度与所采样能量的总体变异程度进行比较。较低的值可能表明能量探索不足,包括与重尾相关的问题。它衡量的行为特征不同于位置自相关或接受概率所反映的特征。
还有一些失效源于分布本身的结构。相距很远的模态之间存在低密度屏障,局部哈密顿轨迹可能很少跨越这些屏障。可识别性弱的参数可能形成狭长的脊。重尾目标分布中,距离、梯度大小与积分时长之间的关系也可能给采样带来困难。因此,即使转移在数学上保持目标分布不变,有限的计算仍可能产生不精确甚至误导性的估计。诊断证据针对的是实际获得的模拟结果,而非提供普遍适用的收敛保证。
历史发展与主要扩展
1987 年,西蒙·杜安、安东尼·肯尼迪、布赖恩·彭德尔顿和邓肯·罗韦斯以“混合蒙特卡洛”之名提出了这一方法。它最初应用于格点场论,在这一领域中,一个构型可能包含数量极为庞大的耦合变量。将分子动力学式轨迹与 Metropolis 校正相结合,既能提出全局候选状态,又能控制积分误差。后来,“哈密顿蒙特卡洛”这一名称逐渐普及,在统计学中尤其如此,因为它突出了该方法基于动力学的构造方式。
拉德福德·尼尔在发展和阐释用于贝叶斯计算的 HMC 方面发挥了重要作用,包括 20 世纪 90 年代关于贝叶斯神经网络的研究,以及 2011 年发表的一篇影响深远的综述。微分计算工具的改进,以及人们逐渐认识到决定采样难度的不只是参数数量,更是后验分布的几何结构,都推动了该方法在统计学中的应用。随后,NUTS 的发展使动态轨迹选择得以在通用软件中实现。
一个重要的几何扩展是马克·吉罗拉米与本·考尔德黑德于 2011 年提出的黎曼流形哈密顿蒙特卡洛。它不再使用恒定的动量协方差,而是采用随位置变化的正定矩阵 。若
则哈密顿量中需要包含协方差的归一化项:
其中省略了一个常数项。必须加入对数行列式项,才能确保对动量积分后得到预期的位置概率密度。
随位置变化的度量可以通过与费希尔信息或正则化二阶导数相关的构造,适应局部曲率的变化。然而,此时哈密顿量已无法分离为仅依赖位置的势能和仅依赖动量的动能。数值积分变得更加复杂,可能需要求解隐式方程,并进行额外的矩阵运算。因此,必须权衡轨迹的改善与每一步计算成本的增加。
其他扩展包括修改动量刷新方式、引入温度调节,或为相对于高斯测度定义的目标分布设计积分器。当参数表示离散化函数时,函数空间 HMC 方法尤为重要:可以构造出不会仅因离散化加细而性能恶化的算法。分裂方法可以利用哈密顿量中动力学具有解析解的部分,仅对其余部分进行数值近似。
随机梯度变体用含噪声的估计值替代基于完整数据的梯度,并引入摩擦和额外噪声等机制。这些方法与 HMC 有关,但并不会自动继承普通的、经过 Metropolis 校正的 HMC 所具有的精确性。它们的有效性取决于所形成的随机动力学、对梯度噪声的处理方式,以及离散化方式。在无法获得完整目标密度时,仅有无偏梯度估计并不足以保证标准 HMC 接受概率计算的有效性。
应用、其他方法与实际适用范围
HMC 广泛用于后验分布中存在显著依赖关系的连续型贝叶斯模型,例如广义线性模型、多层回归、潜变量模型、时间序列模型、空间模型以及一些高斯过程模型。当无法进行简单的条件更新,而随机游走提议又需要采用极小步长时,HMC 尤其具有吸引力。
贝叶斯逻辑回归模型可以说明这一计算模式。给定设计矩阵 、系数 和二元观测结果 ,对数似然的梯度涉及
其中, 是逐分量作用的逻辑函数。先验还会贡献额外的梯度项。HMC 利用这些梯度项之和,构造穿行于系数联合后验分布的轨迹,而不是独立调整每个系数。相关的预测变量仍可能造成难以处理的尺度差异,因此参数化方式和质量矩阵的自适应调整十分重要。
层次模型既是 HMC 的重要应用领域,也鲜明地揭示了它的局限性。与逐坐标更新的方法相比,联合更新能够更有效地让一组相互依赖的参数一同移动。然而,尺度参数和数据信息不足的效应可能产生漏斗形结构或强烈的非线性依赖。因此,HMC 使模型的几何结构在计算中显现出来:数学上等价的参数化方式,采样成本可能截然不同。
在格点量子场论中,混合蒙特卡洛仍是对场构型进行采样的重要方法。涉及动力学费米子的模拟通常会引入辅助的伪费米子场,而力的计算需要求解大型线性方程组。因此,主要开销可能来自每条轨迹内部的数值线性代数运算,而不是 HMC 本身的抽象力学过程。
与变分推断相比,HMC 并不首先将后验近似限制在某个选定的参数分布族内。它的误差来自有限的模拟、不充分的探索、数值实现以及蒙特卡洛不确定性。对于某些大规模问题,变分方法可能更快;而 HMC 无须施加相同的近似分布族限制,就能表示复杂的依赖关系。这种比较并不能说明哪一种方法具有普遍优势:目标分布的几何结构和计算预算都很重要。
与吉布斯采样相比,HMC 不要求条件分布易于处理,并且能够沿连续变量之间的相关结构进行联合探索。不过,当条件采样成本低廉,或离散结构起核心作用时,吉布斯更新仍然可以极为有效。随机游走 Metropolis 方法对导数相关条件的要求较少,但其移动往往呈扩散式。包括回火和序贯蒙特卡洛在内的更专门方法,则用于应对多峰性带来的某些问题,而普通 HMC 本身无法解决这些问题。
因此,衡量 HMC 的计算成本,与其仅看接受率,不如考察每次梯度计算或单位时间获得的有效样本数等指标。快速的导数计算、恰当的参数化方式以及匹配良好的积分策略,可以使高维模型在计算上变得可行;而梯度计算成本高昂、严重的多峰性或曲率变化,即使在名义参数数量不多时,也仍可能成为限制因素。