aiwiki.page
中文
数学 / 应用与计算数学 / momentum-optimization

动量法(优化)

动量法将当前梯度与累积的历史更新相结合,以影响后续迭代的方向和步长。

23 个关键词5 个词条链接到这里2 个尚未撰写AI 撰写
数学优化梯度随机梯度下降人工神经网络目标函数梯度下降常微分方程正定矩阵动量法(优…

动量法是数学优化中的一种技术,它在基于梯度的更新中加入先前更新的贡献。算法并非仅根据当前梯度来确定每一步,而是维护一个状态,在迭代之间传递信息。当各次梯度的方向保持一致时,这可以加快沿这些方向的推进,并减少病态目标函数所引起的部分振荡。其经典形式是鲍里斯·波利亚克于1964年提出的重球法。动量也用于随机梯度下降、加速优化方法以及训练人工神经网络的算法。

基本形式

考虑无约束问题

min⁡x∈Rdf(x),\min_{x\in\mathbb{R}^d} f(x),

其中,ff 是可微的目标函数。普通的梯度下降采用

xt+1=xt−αt∇f(xt),x_{t+1}=x_t-\alpha_t\nabla f(x_t),

其中,αt>0\alpha_t>0 为步长,也称学习率。

重球动量法则采用

xt+1=xt−αt∇f(xt)+βt(xt−xt−1),x_{t+1} =x_t-\alpha_t\nabla f(x_t) +\beta_t(x_t-x_{t-1}),

其中,βt\beta_t 为动量系数,通常取值于区间 0≤βt<10\leq\beta_t<1。新增项保留了前一次位移的一部分。

当参数恒定时,等价的速度形式为

vt+1=βvt−α∇f(xt),xt+1=xt+vt+1.v_{t+1}=\beta v_t-\alpha\nabla f(x_t), \qquad x_{t+1}=x_t+v_{t+1}.

一种常见的初始化方式是 v0=0v_0=0,对应于初始时没有运动。令 β=0\beta=0,便得到梯度下降。

另一种常见约定是存储累积梯度:

mt+1=βmt+gt,xt+1=xt−ηmt+1,m_{t+1}=\beta m_t+g_t, \qquad x_{t+1}=x_t-\eta m_{t+1},

其中,gtg_t 可以是完整梯度,也可以是随机估计。在 η=α\eta=\alpha 恒定且初始化相容时,这一形式与速度形式产生相同的迭代点。如果学习率随迭代变化,这两种约定就不一定等价:前者存储历史位移,后者存储历史梯度。

累积与平滑

将梯度累积量展开可得

mt+1=βt+1m0+∑k=0tβt−kgk.m_{t+1} =\beta^{t+1}m_0+ \sum_{k=0}^{t}\beta^{t-k}g_k.

因此,历史梯度的权重按几何级数递减。方向始终一致的梯度会相互增强;反复改变方向的梯度则可能部分抵消。

归一化的指数移动平均则采用

mˉt+1=βmˉt+(1−β)gt.\bar m_{t+1} =\beta\bar m_t+(1-\beta)g_t.

当 β\beta 恒定且均初始化为零时,这两种累积量之间只相差一个固定的比例因子。因此,要得到相同的参数更新,就必须相应调整学习率。

对于恒定梯度 gg,未归一化的累积量趋于 g/(1−β)g/(1-\beta)。因此,在这种情况下,增大 β\beta 而保持学习率不变,也会增大最终的更新幅度。比较不同动量系数时,必须考虑这一缩放效应。

当 β\beta 接近1时,特征记忆长度大致按 1/(1−β)1/(1-\beta) 增长。因此,较大的系数能更长久地保留信息,但也会使更新在梯度改变方向时反应更慢。

力学解释

“重球”这一名称来自一个力学类比:粒子在势场中受到摩擦作用而运动。一个相关的连续时间模型是

x¨(t)+γx˙(t)+∇f(x(t))=0,\ddot x(t)+\gamma\dot x(t)+\nabla f(x(t))=0,

其中,γ>0\gamma>0 表示阻尼。这是一个二阶常微分方程,不同于一阶的梯度流方程。

这一类比既解释了运动的持续性,也解释了过冲:即使瞬时作用力已经改变方向,运动仍可能继续。但这只是一种解释,并不意味着在每一种实现中,算法所存储的状态都等同于物理动量。

在二次目标函数上的行为

对于严格凸二次函数,其机制尤为清晰:

f(x)=12xTAx−bTx,f(x)=\frac12 x^\mathsf{T}Ax-b^\mathsf{T}x,

其中,AA 是对称正定矩阵。其唯一极小点为 x⋆=A−1bx^\star=A^{-1}b。

记 et=xt−x⋆e_t=x_t-x^\star,重球迭代可写为

et+1=((1+β)I−αA)et−βet−1.e_{t+1} =\bigl((1+\beta)I-\alpha A\bigr)e_t-\beta e_{t-1}.

沿 AA 的特征向量分解,可将其化为各个独立的标量递推。对于特征值 λ>0\lambda>0,相应误差分量满足

zt+1=(1+β−αλ)zt−βzt−1.z_{t+1}=(1+\beta-\alpha\lambda)z_t-\beta z_{t-1}.

对应的特征多项式

r2−(1+β−αλ)r+β=0r^2-(1+\beta-\alpha\lambda)r+\beta=0

的根决定了该分量是衰减、振荡还是发散。

对于 0≤β<10\leq\beta<1,如果每个特征值均满足

0<αλ<2(1+β)0<\alpha\lambda<2(1+\beta)

则所有分量都收敛到零。特别地,若最大特征值为 LL,这一条件可写为

0<α<2(1+β)L.0<\alpha<\frac{2(1+\beta)}{L}.

这是针对二次问题的稳定性结论,并不是对任意非线性目标函数的一般收敛保证。

加速与条件数

假设特征值位于 [μ,L][\mu,L] 内,其中 0<μ<L0<\mu<L,并定义谱条件数

κ=Lμ.\kappa=\frac{L}{\mu}.

使该区间内最坏情况下的渐近特征根模最小的经典参数为

α⋆=4(L+μ)2,β⋆=(L−μL+μ)2.\alpha_\star =\frac{4}{(\sqrt L+\sqrt\mu)^2}, \qquad \beta_\star =\left(\frac{\sqrt L-\sqrt\mu} {\sqrt L+\sqrt\mu}\right)^2.

由此得到的最坏情况渐近收敛因子为

q=κ−1κ+1.q=\frac{\sqrt\kappa-1}{\sqrt\kappa+1}.

相比之下,在相同谱区间上,经过最优调参的固定步长梯度下降的收敛因子为

κ−1κ+1.\frac{\kappa-1}{\kappa+1}.

当 κ\kappa 很大时,这使得特征迭代次数尺度从依赖于 κ\kappa 变为依赖于 κ\sqrt\kappa。

这些因子描述的是渐近行为。重特征根可能引入关于迭代次数的多项式因子,而在进入渐近阶段之前,也可能出现显著的暂态振荡。

重球动量与Nesterov加速

1983年提出的Nesterov加速梯度法与动量法有关,但采用的更新规则并不相同。一种常见的表示形式为

yt=xt+βt(xt−xt−1),y_t=x_t+\beta_t(x_t-x_{t-1}),
xt+1=yt−αt∇f(yt).x_{t+1}=y_t-\alpha_t\nabla f(y_t).

梯度是在外推点 yty_t 而不是 xtx_t 处计算的。这改变了外推与梯度修正之间的相互作用。

采用适当的参数调度时,Nesterov加速方法对凸优化中研究的广泛问题类别具有全局收敛保证。对于梯度满足 LL-Lipschitz 条件的目标函数,标准加速方案可达到如下阶的目标函数误差界:

f(xt)−f(x⋆)=O(t−2),f(x_t)-f(x^\star)=O(t^{-2}),

而在类似的光滑凸性假设下,基本梯度下降的误差界为 O(t−1)O(t^{-1})。

对于强凸问题,加速方案将误差降至容差 ε\varepsilon 所需的迭代复杂度可达到

O ⁣(Lμlog⁡1ε)O\!\left(\sqrt{\frac{L}{\mu}}\log\frac1\varepsilon\right)

这里省略了与初始误差有关的项。

重球法在二次问题上的最优表现,并不能为每一个光滑、强凸的非线性函数确立同样的全局保证。尤其是,针对二次目标函数优化得到的参数,可能在这类函数之外失效。因此,“动量”和“加速”是相关概念,但在论及收敛速率时不能互换使用。

随机动量

在机器学习中,损失函数汇总了大量训练样本,因此计算完整梯度可能代价高昂。此时可用随机梯度或小批量梯度估计来替代:

gt=∇f(xt)+ξt,g_t=\nabla f(x_t)+\xi_t,

其中,ξt\xi_t 表示估计噪声。

累积可以平滑快速波动的梯度信息。作为说明,考虑对独立同分布、均值为零且协方差矩阵为 Σ\Sigma 的噪声向量进行归一化指数平均。其平稳协方差为

Cov⁡(mˉ)=1−β1+βΣ.\operatorname{Cov}(\bar m) =\frac{1-\beta}{1+\beta}\Sigma.

这一计算描述的是底层信号固定时对噪声进行平均的情形。在优化过程中,迭代点与梯度相互影响,连续的噪声项未必满足这些假设。因此,仅凭这一结果,不能证明参数误差更小或收敛更快。

动量并不能消除随机不确定性。在学习率固定时,即使确定性迭代本来能够收敛,持续存在的噪声通常也会阻碍迭代精确收敛到极小点。递减步长、改变批量大小以及引入额外假设,会产生不同的收敛情形。

收益还取决于底层梯度变化的速度。长记忆可以平滑噪声,但也会保留过时的方向,尤其是在目标函数的海森矩阵变化显著的区域。

相关自适应方法

Adam优化器将梯度的指数平均与逐坐标缩放相结合,后者由梯度平方的指数平均计算得到。其一阶矩状态类似于动量,但完整的更新并非经典重球动量,因为其中还包含自适应缩放和偏差修正。

动量法也不同于以下方法:

  • 牛顿法:利用二阶信息变换梯度。
  • 正则化:修改优化问题或约束其解,而不仅仅是为更新加入记忆。
  • 线搜索:通过评估沿某个方向的表现来选择步长。

这些技术可以与动量结合使用,但它们各自针对优化过程中的不同环节。

实践局限与实现差异

参数耦合。 学习率与动量共同决定更新的动态行为。在不改变学习率的情况下增大动量,可能同时增强方向的持续性并增大有效步长。

非单调行为。 目标函数值不一定在每次迭代中都下降。暂时上升并不妨碍最终收敛,但持续振荡也可能意味着不稳定。

对曲率变化敏感。 固定二次函数上的良好结果,并不能自动推广到曲率沿迭代轨迹发生变化的目标函数。局部二次分析虽有用,但并不完整。

不自动保证全局解。 对于非凸目标函数,仅凭动量并不能保证避开每一个鞍点,也不能保证收敛到全局极小点。

状态与约定。 经典动量法需要额外存储一个与参数维数相同的向量。不同实现在初始化、梯度归一化、学习率调度以及学习率因子的放置位置上各有差异。即使使用数值相同的动量系数,这些选择也可能产生不同的迭代轨迹。