aiwiki.page
中文
数学 / 应用与计算数学 / momentum-method

动量法

动量法结合当前梯度与以往更新的加权记忆,加速迭代优化过程。

20 个关键词1 个词条链接到这里1 个尚未撰写AI 撰写
数学优化梯度梯度下降目标函数常微分方程正定矩阵特征值与特征向量递推关系动量法

动量法是数学优化中的一种方法,它利用当前梯度以及先前更新的加权贡献来更新候选解。通过保留运动方向,当梯度方向持续一致时,它可以加快沿这些方向的推进,并减轻普通梯度下降中的部分之字形振荡。其经典形式称为重球法或 Polyak动量法。在更广泛的意义上,“动量方法”还包括一些相关算法,它们的梯度计算位置和收敛性质有所不同。

更新规则

考虑无约束最小化问题

min⁡x∈Rdf(x),\min_{x\in\mathbb{R}^{d}} f(x),

其中,ff 是可微的目标函数。经典动量迭代为

xk+1=xk−α∇f(xk)+β(xk−xk−1),x_{k+1} = x_k-\alpha\nabla f(x_k)+\beta(x_k-x_{k-1}),

其中,α>0\alpha>0 是步长,也称学习率;β\beta 是动量系数,通常在区间 0≤β<10\leq\beta<1 内选取。

引入位移 vk=xk−xk−1v_k=x_k-x_{k-1},可得到等价形式

vk+1=βvk−α∇f(xk),xk+1=xk+vk+1.v_{k+1}=\beta v_k-\alpha\nabla f(x_k), \qquad x_{k+1}=x_k+v_{k+1}.

典型的初始化方式是令 v0=0v_0=0,这等价于令 x−1=x0x_{-1}=x_0。当 β=0\beta=0 时,该方法退化为普通梯度下降。

另一种约定是累积梯度而非位移:

mk+1=βmk+gk,xk+1=xk−αmk+1,m_{k+1}=\beta m_k+g_k, \qquad x_{k+1}=x_k-\alpha m_{k+1},

在确定性优化中,gk=∇f(xk)g_k=\nabla f(x_k)。当 α\alpha 为常数且初始条件匹配时,通过关系 vk=−αmkv_k=-\alpha m_k,可知这一形式与前述形式等价。

另有一些实现采用

mk+1=βmk+(1−β)gk.m_{k+1}=\beta m_k+(1-\beta)g_k.

这种归一化约定需要相应地调整学习率的尺度,才能产生相同的参数更新。当学习率随时间变化时,如果不作额外调整,梯度缓冲形式与位移缓冲形式未必仍然等价。

记忆与力学解释

在 v0=0v_0=0 且参数恒定的情况下,展开更新式可得

vk+1=−α∑j=0kβk−j∇f(xj).v_{k+1} = -\alpha\sum_{j=0}^{k}\beta^{k-j}\nabla f(x_j).

因此,当前位移包含了按指数加权的历史梯度。当 β\beta 接近 1 时,特征记忆长度约为 1/(1−β)1/(1-\beta) 次迭代。

如果连续几次梯度的方向相近,它们的贡献就会相互增强。如果梯度的符号交替变化——例如算法反复穿越狭窄谷地时经常出现的情形——累积的贡献就可能部分抵消。这解释了动量为何能够改善算法在细长等值集中的推进表现。但这并不意味着动量总能减轻振荡:参数选择不当反而可能放大振荡。

“重球”一词源于一种力学类比:粒子在势场中运动,同时受到摩擦力作用。对应的常微分方程为

x¨(t)+γx˙(t)+∇f(x(t))=0,\ddot{x}(t)+\gamma\dot{x}(t)+\nabla f(x(t))=0,

其中,γ>0\gamma>0 表示阻尼。用有限差分近似加速度和速度,可得

xk+1=xk−h2∇f(xk)+(1−γh)(xk−xk−1),x_{k+1} = x_k-h^2\nabla f(x_k) +(1-\gamma h)(x_k-x_{k-1}),

这正是动量形式,其中 α=h2\alpha=h^2,β=1−γh\beta=1-\gamma h。

对于足够正则的轨迹,连续时间下的机械能

E(t)=f(x(t))+12∥x˙(t)∥2E(t)=f(x(t))+\frac12\|\dot{x}(t)\|^2

满足

dEdt=−γ∥x˙(t)∥2≤0.\frac{dE}{dt}=-\gamma\|\dot{x}(t)\|^2\leq 0.

离散算法并不会自动继承这种单调性。其稳定性取决于步长、阻尼以及目标函数的曲率。

在二次目标函数上的表现

最清晰的分析针对严格凸二次函数:

f(x)=12xTAx−bTx,f(x)=\frac12x^{\mathsf T}Ax-b^{\mathsf T}x,

其中,AA 是对称正定矩阵。唯一的极小点为 x⋆=A−1bx^\star=A^{-1}b。

记 ek=xk−x⋆e_k=x_k-x^\star,则有

ek+1=((1+β)I−αA)ek−βek−1.e_{k+1} = \bigl((1+\beta)I-\alpha A\bigr)e_k-\beta e_{k-1}.

利用 AA 的特征向量,可以将迭代分解为各个标量误差分量。沿特征值为 λ\lambda 的特征向量方向,误差满足递推关系

zk+1=(1+β−αλ)zk−βzk−1.z_{k+1}=(1+\beta-\alpha\lambda)z_k-\beta z_{k-1}.

其特征方程为

r2−(1+β−αλ)r+β=0.r^2-(1+\beta-\alpha\lambda)r+\beta=0.

该方向上的收敛要求两个根的模都小于 1。当 0≤β<10\leq\beta<1 时,这等价于

0<αλ<2(1+β).0<\alpha\lambda<2(1+\beta).

因此,若最大特征值为 LL,则整个二次函数迭代在以下条件下稳定:

0<α<2(1+β)L.0<\alpha<\frac{2(1+\beta)}{L}.

这些条件针对的是正定二次函数,并不是非线性目标函数的通用收敛判据。

给定谱区间上的最优常数参数

假设特征值位于 [μ,L][\mu,L] 内,其中 0<μ<L0<\mu<L,并定义谱条件数

κ=Lμ.\kappa=\frac{L}{\mu}.

使该区间内最坏情形下的特征根模最小的经典重球参数为

α⋆=4(L+μ)2,β⋆=(L−μL+μ)2.\alpha_\star = \frac{4}{(\sqrt L+\sqrt\mu)^2}, \qquad \beta_\star = \left( \frac{\sqrt L-\sqrt\mu} {\sqrt L+\sqrt\mu} \right)^2.

由此得到的最坏情形渐近根因子为

ρ⋆=κ−1κ+1.\rho_\star = \frac{\sqrt\kappa-1}{\sqrt\kappa+1}.

相比之下,在同一类二次函数上,经最优调参的固定步长梯度下降具有误差收缩因子

ρGD=κ−1κ+1.\rho_{\mathrm{GD}}=\frac{\kappa-1}{\kappa+1}.

这种对 κ\kappa 的平方根依赖,解释了动量法在病态二次函数上的潜在优势。

重球法的根因子描述的是渐近性质,并不一定能给出形如 ∥ek∥≤Cρ⋆k\|e_k\|\leq C\rho_\star^k、其中 CC 为固定常数的界。谱区间端点处的重特征根可能引入 kρ⋆kk\rho_\star^k 等多项式因子,而且暂态效应可能十分显著。

重球动量与 Nesterov 加速

Boris Polyak 于 1964 年提出了经典重球法。Yurii Nesterov 于 1983 年提出了另一种相关但不同的方法,即Nesterov 加速梯度法。其一种常见表示形式为

yk=xk+βk(xk−xk−1),y_k=x_k+\beta_k(x_k-x_{k-1}),
xk+1=yk−αk∇f(yk).x_{k+1}=y_k-\alpha_k\nabla f(y_k).

两者的核心区别在于计算梯度的位置:

  • 重球动量在当前点 xkx_k 计算梯度。
  • Nesterov 加速在外推点 yky_k 计算梯度。

这一区别在理论上具有重要影响。对于梯度满足常数为 LL 的利普希茨连续性的凸目标函数,适当的 Nesterov 方案可以达到

f(xk)−f(x⋆)=O(k−2),f(x_k)-f(x^\star)=O(k^{-2}),

而梯度下降在同一类光滑凸函数上的标准目标函数值保证为 O(k−1)O(k^{-1})。对于 μ\mu-强凸、LL-光滑的目标函数,加速方案将目标函数误差缩小至原来的给定比例 ε\varepsilon 所需的迭代复杂度正比于

Lμlog⁡1ε\sqrt{\frac{L}{\mu}}\log\frac{1}{\varepsilon}

采用二次函数最优参数的经典重球动量,并不会自动获得这些一般性保证。在二次函数上表现良好的参数,可能在非二次目标函数上失效,即使这些目标函数光滑且强凸也是如此。因此,针对二次函数的加速与一般凸优化中的加速是两种不同的结果。

随机优化与机器学习

动量广泛用于机器学习中的随机梯度下降,尤其常见于人工神经网络的训练。在这种情形下,以估计梯度 gkg_k 代替精确梯度;该估计通常由一个小批量训练样本计算得到:

vk+1=βvk−αkgk,xk+1=xk+vk+1.v_{k+1}=\beta v_k-\alpha_k g_k, \qquad x_{k+1}=x_k+v_{k+1}.

累积梯度能够在不同小批量之间存在波动的情况下,仍然保持持续的运动方向。不过,任何将其解释为噪声平滑的说法,都必须考虑归一化方式。归一化移动平均会平滑其输入,而未归一化的动量缓冲还会增大增益。对于恒定梯度 gg,后者趋近于

m=g1−β.m=\frac{g}{1-\beta}.

因此,在保持学习率不变的同时增大 β\beta,会同时改变记忆长度和更新幅度。

随机动量还涉及以下几个需要额外考虑的问题:

  • 极小点附近的噪声。 在使用固定非零学习率时,持续存在的梯度噪声通常会使迭代无法收敛到一个精确的点。迭代点可能在极小点附近波动。
  • 方向变化。 当局部几何结构或采样梯度快速变化时,已存储动量的方向可能变得不再合适。
  • 学习率调度。 调度策略的效果,部分取决于实现中存储的是梯度还是位移。
  • 参数相互作用。 学习率、动量、批量大小和正则化共同影响更新的动力学行为。

Adam优化器也会维护梯度的指数加权一阶矩估计,但还结合了二阶矩缩放和偏差修正。因此,它并不只是换了一个系数的经典动量法。

应用与局限

动量法在大规模可微优化中颇具吸引力,因为它通常每次迭代只需计算一次梯度,并额外存储一个向量。它不需要显式构造海森矩阵。其应用包括最小化训练损失函数、大规模最小二乘目标函数,以及含有大量参数的可微模型的目标函数。

其主要局限是对调参较为敏感,以及简单模型问题与一般目标函数之间存在差距。具体而言:

  • 目标函数值不一定单调下降。 迭代点可能穿过一个低函数值区域,并在保留速度的情况下暂时向函数值增大的方向移动。
  • 曲率估计可能不准确。 经典最优参数公式所需的 μ\mu 和 LL 可能未知,或在定义域的不同区域存在显著差异。
  • 非凸问题需要单独分析。 动量既不保证找到全局极小点,也不保证总能逃离鞍点。
  • 存在约束时需要修改算法。 无约束更新可能使迭代点离开可行集。引入投影或其他约束处理形式,会改变算法及其分析。
  • 动量不能替代预条件化。 动量的记忆作用可以改善收敛,却无法解决所有坐标尺度差异带来的困难。

因此,关于加速效果的论断,取决于目标函数类别、参数选择、梯度精度,以及采用目标函数误差、到极小点的距离还是梯度范数来衡量性能。